回答編集履歴

 

  > 今は１ピクセルごとに座標を出せていますが、できたら１ピクセルよりも小さい値を出したいのです

 

  OpenCVのresizeにcv2.INTER_LANCZOS4がありますので、これを使うといくらか滑らかに画像を拡大できます。（計算量を減らすために生画像をグレースケールにした後に）これで拡大して同じ処理をすれば、"サブピクセル"に相当する処理ができるはずです。