質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

91.36%

  • Python 3.x

    2410questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • OpenCV

    617questions

    OpenCV(オープンソースコンピュータービジョン)は、1999年にインテルが開発・公開したオープンソースのコンピュータビジョン向けのクロスプラットフォームライブラリです。

Python OpenCV で実装するオリジナルマーカーのマッチングが非常に重くなる

解決済

回答 2

投稿 2017/12/08 02:11

  • 評価
  • クリップ 1
  • VIEW 47

vibrato

score 6

改善案をご教授願いたい

少し前にこちらで、OpenCVで任意の画像をオリジナルマーカーとして読み込む方法を質問させていただきました。
(その時の投稿:https://teratail.com/questions/103524)

おおまかに説明すると
任意画像Aをマーカーとしたとき、マーカーを読取った結果、"任意画像A"と出力される機能
の実装を目指しています。この機能の実装は

  • 枠の抽出
  • 台形補正
  • テンプレートマッチング

これらの方法で実現可能であると親切に教えていただきました。

様々なページを参考に組み合わせた結果、認識率に改善の余地があるものの希望の動作に成功致しました。
ただタイトルにもある通り非常に重くなるのです。原因は以下。

主要因

  • マッチング対象が多い(マーカーは今後増やし続ける)
  • 任意の画像であるためサイズがバラバラ
    原因はこの2点であると推測でき、同時にこの2点は必須機能となります。

要因の解釈

# 全部を書くと読みづらくなると思いますので意味合いだけ明示します

cam = cv2.VideoCapture(0)
while True:

    orig = cam.read()[1]
    copy = orig.copy()

    for img in マッチング対象画像パスlist:
      marker = imread(img, 0)
        size = (img.shape[0], img.shape[1])

        補正結果 = 台形補正(copy, 台形かど座標4点, size)

        if matching(補正結果, marker) is マッチングしていたら:
            print("matching!!")
            プログラム終了


伝わっていただけると嬉しいですが、
while True:を一回通る度に、マッチング対象画像の数だけ、台形補正を行い、マッチング判定を行っている
という構造になっており、sizeを取得するために、このような構造をとっています。

読取るマーカーのサイズが様々なので、sizeを固定してしまうと、ほとんどの場合で縦横比がズレてしまい、マッチングに成功しないので、自分の知識・知恵ではこの構造をとらざるを得ない状態です;

質問まとめ

  • マッチング対象が多い(マーカーは今後増やし続ける)
  • 任意の画像であるためサイズがバラバラ
    この二つを条件をクリアしたまま、処理を軽くする方法または考え方はないものでしょうか?
    是非皆様の知恵をお貸し下さい。宜しくお願い致します。
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

+3

テンプレートマッチングの実用上の問題は速度だというようなことをよく見かける気がします。
今回のコードの場合、台形補正の演算の一部をサボれそうだというのはLouiS0616さんのおっしゃるとおりだと思います。

それでも遅いというのならまず、スケール不変性のあるような特徴量に変換することが考えられます。
有名なものだとHOG,SIFT,SURFなどでしょうか。どれもOpenCVに実装されていたような気がします。
http://www.vision.cs.chubu.ac.jp/cvtutorial/PDF/02SIFTandMore.pdf
スケール不変性を持てばサイズ変更の必要はなくなります。
マーカーのサイズを前処理することも考えられます。

画像のマッチングというのは遅いことが多いので、もっとシンプルなもので候補を絞り込むことも重要です。
人の顔の認識にHaar-like検出器が有名だと思います。
https://qiita.com/nonbiri15/items/c8e666c4964d09ace652
人以外の例でフィルタを使ったもの。
https://www.slideshare.net/TakeshiHasegawa1/20151016ssmjpikalog
https://www.slideshare.net/TakeshiHasegawa1/ikalog20161125nsstudy
木構造のようにマーカーを分類しておけば、フィルタによって判定すべきマーカーを絞り込めます。

マッチングというのは難しいものでして、最もスコアが高いものが正解というのが一般的な判断基準かと思います。
ですので、マッチしたら終了というのは精度の観点から不満があるかもしれません。
また、マーカーの種類を増やしていく予定ならば、マーカーのかず倍だけ計算が増えていくので、テンプレートマッチングがすごく不利です。
マーカー間を区別する特徴量を抽出しておけば、判定したい画像に対して特徴量を算出して、後は特徴量間の距離を計算するだけになります。
主成分分析(PCA)のような手法が有効です。

あまりないとは思いますが、マーカーのピクセル数が多いと距離の計算に時間がかかりますので、荒くなりすぎない程度に粗視化することも考えられます。


makers = []
sizes = []
for img in 
    markers.append(imread(img, 0))
    サイズ補正

cam = cv2.VideoCapture(0)
while True:
    orig = cam.read()[1]
    copy = orig.copy()

    台形の補正
    サイズ補正

    # 後はマッチング速度を改善するだけ
    for marker in markers:
        if matching(補正結果, marker) is マッチングしていたら:
            print("matching!!")
            プログラム終了

投稿 2017/12/08 11:06

編集 2017/12/08 11:16

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

checkベストアンサー

+1

とりあえずマーカー読出しを外部に切り出しては?
また、マーカーのサイズがばらばらでも、台形補正部分はまとめて出来ると思います。

makers = []
sizes = []
for img in 
    markers.append(imread(img, 0))
    sizes.append((img.shape[0], img.shape[1]))

cam = cv2.VideoCapture(0)
while True:
    orig = cam.read()[1]
    copy = orig.copy()

    台形の補正はここでやってしまう

    for marker, size in zip(markers, sizes):
        サイズ補正
        if matching(補正結果, marker) is マッチングしていたら:
            print("matching!!")
            プログラム終了

投稿 2017/12/08 02:27

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/12/08 12:25 編集

    回答ありがとうございます!!!!!!!
    自分なりに少し手を加えましたが、頂いた助言により、改善しました!!

    SIZE = (○○○, ×××)

    resized_markers = []
    for img in マッチング対象画像パスlist:
    ........marker = imread(img, 0)
    ........marker = cv2.resize(marker, SIZE)
    ........resized_markers.append(marker)

    cam = cv2.VideoCapture(0)
    while True:
    ....orig = cam.read()[1]
    ....copy = orig.copy()

    ....補正結果 = 台形補正(copy, 台形かど座標4点, SIZE)

    ....for marker in resized_markers:
    ........if matching(補正結果, marker) is マッチングしていたら:
    ............print("matching!!")
    ............プログラム終了

    補正のサイズを固定しておいて、マーカーの方をそのサイズに合わせるという発想は、自分には無かったです!
    的確なアドバイス誠にありがとうございました!!おかげさまで処理が大変軽くなりました!!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

ただいまの回答率

91.36%

関連した質問

  • 解決済

    opencvにトラックバーをつけたい!

    opencvにトラックバーをつけたいです。 内容としては、トラックバーでパラメータxを1<x<100の範囲で動かし、そのxの値に応じて画像中の物体がいろいろ動いていくというもので

  • 解決済

    wxPythonにおいて、USBカメラの画像表示をしたい

    前提・実現したいこと ここ一週間くらい、teratailの皆様の力を借りながら、python上で動く動画や画像を表示できるGUIを作っています。画像は何とか表示でき、画像とパネル

  • 解決済

    opencv 円検出

    前提・実現したいこと 動画を読み込みその動画から円を検出して描画するプログラムを書こうと思っています。 発生している問題・エラーメッセージ 動画は読み込んで出力することができま

  • 解決済

    OpenCVを用いた物体検出

    現在OpenCV2.1を用いた上で顔検出にチャレンジしています。 学習等については問題なく行うことができ、顔の検出を行おうと思っているのですが、検出の段階で設定するパラメータの"m

  • 解決済

    opencv 色 円 検出

    前提・実現したいこと 以前にした質問1 以前にした質問2 を使って円検出の精度を上げたいと思っています。 発生している問題 知識不足で申し訳ないですがどう組み合わせればいいかわ

  • 解決済

    opencv python 画像処理

    # -*- coding: utf-8 -*- import cv2 import numpy as np # フレーム差分の計算 def frame_sub(src1, src

  • 解決済

    SaliencyMapの動画を保存したい

    前提・実現したいこと こんにちは。 https://github.com/akisato-/pySaliencyMap/blob/master/main_webcam.py 上記の

  • 解決済

    python画像サイズ変更

    前提・実現したいこと python2で画像を拡大・縮小するプログラムを作っています。 発生している問題・エラーメッセージ AttributeError

同じタグがついた質問を見る

  • Python 3.x

    2410questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • OpenCV

    617questions

    OpenCV(オープンソースコンピュータービジョン)は、1999年にインテルが開発・公開したオープンソースのコンピュータビジョン向けのクロスプラットフォームライブラリです。