やりたいこと

２枚の画像のうち１枚目の画像と特徴が一致した２枚めの画像の位置を特定したい

環境

Ubuntu 14.04 LTs
Python3.4
OpenCV3.4

全貌（詳細）

画像から特定の文言を抽出したい（OCR）。
しかしOCRの精度が良くないという課題を抱えています。
いろいろテストしたところ、１枚の大きな画像から抽出したい文言が記載されている場所をトリミングすれば目的が果たせそうという結果が得られました。

画像は多少の挿絵はあるものの基本的にテキスト主体です。
下記のようなイメージで見出しと本文が対で箇条書きスタイルで記載されています。

見出し｜本文
見出し｜本文

これらは一枚の画像です（画像B）。

思いついたこと

見出しがわかっているので見出しの文言が書かれた画像を用意します（画像A）。
OpenCVを使い、画像Aと画像Bで特徴点マッチを実施します。
画像Bからマッチした場所からピクセルなどの指定で本文を切り取ろうとしています。

やったこと

下記サイトに記載の事項を実施しました。
https://qiita.com/hitomatagi/items/caac014b7ab246faf6b1

結果「drawMatchesKnn」は想定どおりとなりました。

わからないこと

drawMatchesKnnによってマッチしたことは間違いないのですが、このマッチした画像Bのキーポイントがわかりません。
マッチ前のdetectAndComputeならキーポイントがありますが…画像Aとマッチしたキーポイントを知りたいので要求に合いません。

切り出しについてはまだ勉強していませんが、位置さえわかればなんとかなるのではないかと思っております。

よろしくお願いします。

行動規範の内容に同意します

回答1件

ベストアンサー

自信ない（というか中身がわかってない）ので間違いなどありましたらご容赦ください。

drawMatchesKnnの結果を見ると引数の中に画像A, 画像Bの対応情報がknnMatchに含まれていそうだったので

https://docs.opencv.org/3.0-beta/doc/py_tutorials/py_feature2d/py_matcher/py_matcher.html

を参照してみましたところ、

What is this Matcher Object?

The result of matches = bf.match(des1,des2) line is a list of DMatch objects. This DMatch object has following attributes:

DMatch.distance - Distance between descriptors. The lower, the better it is.
DMatch.trainIdx - Index of the descriptor in train descriptors
DMatch.queryIdx - Index of the descriptor in query descriptors
DMatch.imgIdx - Index of the train image.

とありました。そこでqueryIdx, trainIdxを用い以下のようにしてみるとマッチしている点が取り出せるようでした。

Python
1...省略...
2
3img1 = cv2.imread(画像A)
4img2 = cv2.imread(画像B)
5img1w = img1.shape[1]  # 画像Aの横幅を調べておく
6
7...省略...
8
9# 適当に8点選択
10good = [[m] for m, n in sorted(matches, key=lambda e: e[0].distance / e[1].distance)[:8]]
11
12# 対応する特徴点同士を描画
13img3 = cv2.drawMatchesKnn(img1, kp1, img2, kp2, good, None, flags=2)
14
15# 対応する特徴点を取り出し上の画像の対応位置に
16# 自前で円を描画してみる
17for i, lm in enumerate(good):
18    # ペアごとに適当に色を生成
19    bgr = tuple(i >> j & 1 for j in range(3))
20    color1 = tuple(map(lambda x: x * 0xFF, bgr))
21    color2 = tuple(map(lambda x: x * 0xC0, bgr))
22    m = lm[0]
23    p1 = tuple(map(int, kp1[m.queryIdx].pt))  # 画像Aのキーポイントから一致点を取り出す
24    p2 = tuple(map(int, kp2[m.trainIdx].pt))  # 画像Bのキーポイントから一致点を取り出す
25    cv2.circle(img3, p1, 5, color1, -1)
26    cv2.circle(img3, (p2[0] + img1w, p2[1]), 5, color2, -1)
27
28# 画像表示
29cv2.imshow('img', img3)
30
31...省略...