VB.NETで扱うOpenCVテンプレートマッチングで複数検出を行いたい

Question

前提

VisualStudioCommunity2022のVisualBasic.NETでOpenCVを使用して画像解析を行いたいのですが、
既に単体での画像マッチング機能は作成できています。

ここでの画像マッチング機能とは、「テンプレート画像」と「対象画像」の2つの画像があり、
「対象画像」から「テンプレート画像」を探し、一致率とその場所を表示するプログラムのことを言います。

やりたいこと

現段階では、「最も一致率の高い場所を表示する」プログラムになっていますが、これを「一定のしきい値を超える場所をすべて表示する」プログラムに改変したいです。困っていることは、そのやり方がわかりません。

全体的な流れとしては、

テンプレート画像と対象画像をMatオブジェクトにそれぞれ格納する
↓
Cv2.MatchTemplate()に先程のMatオブジェクト2つを渡し、検出結果が「Result(Matオブジェクト)」に格納される
↓
Cv2.MinMaxLoc()に「Result」を渡し、最も一致率の高い位置と値を取得
↓
出力

となります。

検出結果が格納された「Result」には「最も一致率の高い情報以外の情報」が格納されていると思われます。
その情報を取り出すような関数を探しています。

ソースコード

OpenCVSharpを導入済み
フォーム名：ImageMatching
設置したオブジェクト：Label1, Button1, PictureBox1, PictureBox2

Imports OpenCvSharp
Imports OpenCvSharp.Extensions

Public Class ImageMatching

		'ボタンがクリックされたとき
		Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click

			Dim Path1 As String = [対象画像のファイルパス]
		Dim Path2 As String = [テンプレート画像のファイルパス]

		Using TargetMat As New Mat(Path1), TemplateMat As New Mat(Path2)

			'Result = テンプレートマッチングの結果を格納するオブジェクト
			Using Result As New Mat

				'テンプレートマッチングを実行
				Cv2.MatchTemplate(TargetMat, TemplateMat, Result, TemplateMatchModes.CCoeffNormed)

				'最も一致率の高い位置と値を取得する
				Dim MaxVal As Double
				Dim MaxPos As Point
				Cv2.MinMaxLoc(Result, Nothing, MaxVal, Nothing, MaxPos)

				'しきい値 = 70%
				If MaxVal >= 0.7 Then

					'最も一致率の高い位置に四角を描画する
					TargetMat.Rectangle(New Rect(MaxPos, TemplateMat.Size), Scalar.LimeGreen, 15)

					'一致率を表示
					Label1.Text = MaxVal.ToString * 100 & "%"

				End If

			End Using

			'画像を反映
			PictureBox1.Image = TargetMat.ToBitmap
			PictureBox2.Image = TemplateMat.ToBitmap

		End Using

	End Sub

End Class

補足情報

参考にした記事：https://skprogramlab.hatenablog.com/entry/OpenCVSharp-Sample13

「最も一致率の高い情報以外の情報」が格納されていると思ったのはPythonやC#で実現している記事を見かけたからです。
そこでは同じくOpenCVSharpやOpenCVを使用していましたが、未熟なもので、読んでも理解できませんでした…💧

Answer 1

検出結果が格納された「Result」には「最も一致率の高い情報以外の情報」が格納されていると思われます。

「思われます」じゃなくて，ちゃんと調べましょうよ．

Result には「各画素位置におけるマッチングスコアが格納されている」という話になっているハズです．
そしたら

「一定のしきい値を超える場所をすべて表示する」

をするなら，この Result に何らかのしきい値処理を行えばよいでしょう．
単純なしきい値処理ならば OpenCV に threshold みたいなのがあるハズなので，まずはそれを試してみてはどうでしょうか．

ただし，これ系は「非極大値抑制 (Non maximum suppression)」という話がかならず付いて回るので，「しきい値処理さえ行えばそれで終了」という話とはならないでしょう．
→この単語の意味がわからない場合，まずはググると良いでしょう．

Comments

[fana]

> その情報を取り出すような関数を探しています。

あなたのやりたいことそれそのものに完全にマッチする関数が用意されているとは限らない．
おそらく「非極大値抑制込みで matchTemplate の処理結果を　いい感じに　得る」的な関数なんてのは無いと思う．

とりあえず画像データの各画素値にアクセスする手段を知るべき．
既に知っているならば，`Result` の中身を走査してやりたいことを好きにやればよい．