輪郭の座標を決めて射影変換する

Question

こちらバドミントンのコート画像なのですがコートの４点座標を決め枠内だけを表示させたいです

以前こちらのサイトで質問させていただき、」教えていただいたプログラムなのですが、画像を変えたものでも使えるようなプログラムにしたいです。

import cv2
import numpy as np

 #画像を読み込む。
img = cv2.imread("sample.jpg")

# 色空間をグレースケールに変換する。
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 二値化する。
ret, binary = cv2.threshold(gray, 100, 255, cv2.THRESH_BINARY_INV)

# 輪郭抽出する。
contours, hierarchy = cv2.findContours(
    binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE
)

# 面積が最大の輪郭を取得する。
contour = max(contours, key=lambda x: cv2.contourArea(x))

# 輪郭を近似する。
arclen = cv2.arcLength(contour, True)
approx_contour = cv2.approxPolyDP(contour, epsilon=0.005 * arclen, closed=True)
assert len(approx_contour) == 4, "以下の処理は抽出された輪郭は4点で構成されていることが前提"

h, w = 600, 600  # 長方形の大きさ
points1 = approx_contour.astype(np.float32)
points2 = np.float32([[h, w], [w, 0], [0, 0], [0, h]])

# points1 から points2 へ写す射影変換行列を計算する。
H = cv2.getPerspectiveTransform(points1, points2)

# 射影変換を画像に適用する。
dst = cv2.warpPerspective(img, H, (w, h))

# 結果を保存する。
cv2.imwrite("result.png", dst)

このようなエラーが出ます、多分輪郭がちゃんと４点でわかりやすい画像にしか対応できないのかなと思いますがコートの枠内だけを抽出するようなことは可能でしょうか？

  assert len(approx_contour) == 4, "以下の処理は抽出された輪郭は4点で構成されていることが前提"
AssertionError: 以下の処理は抽出された輪郭は4点で構成されていることが前提

Answer 1

個人的意見というか感想(?)ですが…

バドミントンのコート

の詳細は知りませんが，おそらくは規格がある（すなわち，既知のパターンである）のではないかと思うので，
もうちょっと「パターン認識」的な考えで取り組む方向性もあるのかな，と．

例えば，線群の消失点あたりをヒントにして矩形群の並び（どの矩形がコートのどこに対応するか）を判断するような方向から攻めるとか…

Comments

[fana]

何に取り組んでいるのかわからないけれども，例えばこの先，本物のコートで試合している場面の絵を相手にする予定があるとか，そういう話があるのであれば，
「findContours一発で見つけた一番でかい塊の形を近似したら四角形」みたいな話ではすぐに使い物にならなくなるのでは？という勝手な予想．

[fana]

・どのくらいきつい角度から撮影し得るのか？
・コートが画像の視野内に常に入るのか？　見切れることもあるのか？
・人とかネットとかがあればオクルージョンの考慮がいるのでは？　
…等の前提条件次第で，何をどう考えていかねばならないのかも変わるんじゃないかな？とか．

[0126tami]

今の段階は簡略的な例程度で考えようとしているのですが、たしかにこれから先やろうとしていることは実際に試合している選手の認識なので、それに対応したものを考えれたらいいなと思っています。
たくさんのアイデアを考えてみたいです

[fana]

実画像を処理するのが目標ならば，このような描いた絵ではなくて，最初から実際のコートの写真を相手にした方がよいのではないでしょうか．
（簡略化するにしても，処理方法自体が全く違ってしまわない程度に収めておかなくてはいかんのでは）

「まずは問題を簡単な範囲に絞って」考えるなら，例えば

* 好き勝手な位置からコートを撮影するのではなくて，常に概ねこの見え方な撮影状況なのだとして…
* 背景に処理的に面倒そうな物体だとか影とかはとりあえず無いのだとして…
* とりあえずコートに人はいない状態で…
* etc

といった方向での「比較的問題が簡単な」絵を数点(一枚だけだとその絵だけの特有の事情に捉われてしまう可能性があるので)用意すると良いのではないかと思います．

[fana]

特に，今回みたいな変換処理をしたい場合，
「正確な値でないにしろ，カメラはだいたいこんな姿勢で撮影しているぞ」という前提知識みたいなのを入力として与えることが可能であるか否か
でアプローチが違ってくると思います．