cv2で将棋盤をトリミングし、駒を認識したい

Question

前提・実現したいこと

cv2で、将棋盤の写真を読み取り将棋盤の形にトリミングしてから、マスにそって線を引きたいです
また、駒を認識して駒の盤面配置状況をどうにかして受け取りたいです

発生している問題・エラーメッセージ

以下にソースコードを乗せています。現在は「実現させたいこと」の1行目のことを行いたいと思っています。
実行すると以下の画像のようになります。(黒い線は盤のもの)

該当のソースコード

import cv2
import numpy as np

img = cv2.imread('photo.jpg')
kernel = np.ones((2,2),np.uint8)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

dilation = cv2.dilate(gray, kernel, iterations = 1)

cv2.imwrite('houghlines6_edge.jpg', dilation)

opening = cv2.morphologyEx(dilation, cv2.MORPH_OPEN, kernel)

cv2.imwrite('houghlines3.jpg', opening)

ret, thresh = cv2.threshold(opening, 127, 255, 0)
image, contours, hierarchy = cv2.findContours(thresh, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)

img = cv2.drawContours(img, contours, -1, (0,255,0), 3)

cv2.imwrite('houghlines5.jpg',img)

おわりに

説明不足な点もあると思いますがよろしくお願いします。

Answer 1

まず，撮影画像上の盤の升目の交点座標群あたりを使って，盤面平面の姿勢を推定する．
これができれば撮影画像上に線を引けるのは自明．

駒の認識あたりの処理を行うには
推定した姿勢情報を使って，盤面を正視したような画像に変換すると(各マスの範囲が扱いやすくなるので)やりやすいかと．
各マスに駒があるか否かは，マス範囲内の画素値の分布から判断が付くのではないかと想像します．（駒があると画像が一様じゃなくなる）

最終的にどの駒なのかについては，何かパターン認識するしかないかな……
（回転に強い特徴記述子を用いたパターンマッチングみたいな？）