質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.75%

  • Python 3.x

    5292questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • OpenCV

    963questions

    OpenCV(オープンソースコンピュータービジョン)は、1999年にインテルが開発・公開したオープンソースのコンピュータビジョン向けのクロスプラットフォームライブラリです。

画像の中の特定の位置を知りたい

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 208

al_aya_yuka

score 46

 やりたいこと

2枚の画像のうち1枚目の画像と特徴が一致した2枚めの画像の位置を特定したい

 環境

Ubuntu 14.04 LTs
Python3.4
OpenCV3.4

 全貌(詳細)

画像から特定の文言を抽出したい(OCR)。
しかしOCRの精度が良くないという課題を抱えています。
いろいろテストしたところ、1枚の大きな画像から抽出したい文言が記載されている場所をトリミングすれば目的が果たせそうという結果が得られました。

画像は多少の挿絵はあるものの基本的にテキスト主体です。
下記のようなイメージで見出しと本文が対で箇条書きスタイルで記載されています。

見出し|本文
見出し|本文

これらは一枚の画像です(画像B)。

 思いついたこと

見出しがわかっているので見出しの文言が書かれた画像を用意します(画像A)。
OpenCVを使い、画像Aと画像Bで特徴点マッチを実施します。
画像Bからマッチした場所からピクセルなどの指定で本文を切り取ろうとしています。

 やったこと

下記サイトに記載の事項を実施しました。
https://qiita.com/hitomatagi/items/caac014b7ab246faf6b1

結果「drawMatchesKnn」は想定どおりとなりました。

 わからないこと

drawMatchesKnnによってマッチしたことは間違いないのですが、このマッチした画像Bのキーポイントがわかりません。
マッチ前のdetectAndComputeならキーポイントがありますが…画像Aとマッチしたキーポイントを知りたいので要求に合いません。

切り出しについてはまだ勉強していませんが、位置さえわかればなんとかなるのではないかと思っております。

よろしくお願いします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

自信ない(というか中身がわかってない)ので間違いなどありましたらご容赦ください。

drawMatchesKnnの結果を見ると引数の中に画像A, 画像Bの対応情報がknnMatchに含まれていそうだったので

https://docs.opencv.org/3.0-beta/doc/py_tutorials/py_feature2d/py_matcher/py_matcher.html

を参照してみましたところ、

What is this Matcher Object?
The result of matches = bf.match(des1,des2) line is a list of DMatch objects. This DMatch object has following attributes:

DMatch.distance - Distance between descriptors. The lower, the better it is.
DMatch.trainIdx - Index of the descriptor in train descriptors
DMatch.queryIdx - Index of the descriptor in query descriptors
DMatch.imgIdx - Index of the train image.

とありました。そこでqueryIdx, trainIdxを用い以下のようにしてみるとマッチしている点が取り出せるようでした。

...省略...

img1 = cv2.imread(画像A)
img2 = cv2.imread(画像B)
img1w = img1.shape[1]  # 画像Aの横幅を調べておく

...省略...

# 適当に8点選択
good = [[m] for m, n in sorted(matches, key=lambda e: e[0].distance / e[1].distance)[:8]]

# 対応する特徴点同士を描画
img3 = cv2.drawMatchesKnn(img1, kp1, img2, kp2, good, None, flags=2)

# 対応する特徴点を取り出し上の画像の対応位置に
# 自前で円を描画してみる
for i, lm in enumerate(good):
    # ペアごとに適当に色を生成
    bgr = tuple(i >> j & 1 for j in range(3))
    color1 = tuple(map(lambda x: x * 0xFF, bgr))
    color2 = tuple(map(lambda x: x * 0xC0, bgr))
    m = lm[0]
    p1 = tuple(map(int, kp1[m.queryIdx].pt))  # 画像Aのキーポイントから一致点を取り出す
    p2 = tuple(map(int, kp2[m.trainIdx].pt))  # 画像Bのキーポイントから一致点を取り出す
    cv2.circle(img3, p1, 5, color1, -1)
    cv2.circle(img3, (p2[0] + img1w, p2[1]), 5, color2, -1)

# 画像表示
cv2.imshow('img', img3)

...省略...

イメージ説明


Windows 10 64bit
Python 3.6
opencv-python 3.4.0.14

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/22 13:41

    ご教授ありがとうございました。
    検証に時間がかかってしまいましたが、やりたい事が実現できました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.75%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 受付中

    Mat画像にcvFindcontourを使用したい

    Matに格納している画像にcvFindContourを適用したいです。 Mat img(SIZE(x,y), IPL_DEPTH_) Matで定義した画像をcvFindCo

  • 受付中

    OpenCVにおけるパターンマッチングについて

    前提・実現したいこと 現在、OpenCVとC++でDICひずみ計測システム(デジタル画像相関)を作っています。プログラミング初心者です。よろしくお願い致します。 まず、この

  • 受付中

    OpenCLの使用について

    前提・実現したいこと 画像処理ソフトの開発(Qt, C++環境)において、OpenCV3.2.0を使用しております。 また、OpenCV3.0以降では、OpenCL周りのインタ

  • 解決済

    JAVAやOpenCVで作られたソフトでの画像の取込

    前提・実現したいこと ここに質問したいことを詳細に書いてください (例)PHP(CakePHP)で●●なシステムを作っています。 ■■な機能を実装中に以下のエラーメッセージが発生し

  • 解決済

    opencvで画面のチラつきを抑えたい

    OpenCVで編集しながら動画を表示させようとしています。 目的はアニメっぽい絵を出したいということです。 まあいい感じでアニメ化できたと考えています。 下の処理の流れは medi

  • 解決済

    固定の単語に対する手書き文字認識の精度を上げたい

     発生している問題・エラーメッセージ いぬ・うさぎ・ライオン という三種類の単語の手書き文字のデータがそれぞれ100個ずつある。今OCRのアルゴリズムを作り、それぞれの文字画像を読

  • 解決済

    cv_32fc1の画素値への代入

     前提・実現したいこと OpenCVでCV_32FC1の型への画素値の代入を行いたい  発生している問題・エラーメッセージ CV8UC1の型では下記のコードのようにdataを用

  • 受付中

    brew tap homebrew/science

     前提・実現したいこと macでopencvを使いたい https://qiita.com/daisukeokaoss/items/738566e9f24d114651ab このサ

同じタグがついた質問を見る

  • Python 3.x

    5292questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • OpenCV

    963questions

    OpenCV(オープンソースコンピュータービジョン)は、1999年にインテルが開発・公開したオープンソースのコンピュータビジョン向けのクロスプラットフォームライブラリです。