競輪選手の検出 アプローチ方法を教えて下さい

Question

前提・実現したいこと

OpenCVを使い、競輪選手を検出し、選手間の位置を把握したいと考えています。
競輪選手を検出するにはどの手法を用いれば良いでしょうか？
画像解析のアプローチ方法を教えて下さい。

発生している問題・エラーメッセージ

選手は１番から９番まで色分けされている事を利用して色検出させましたが、他のものを検出します。

該当のソースコード

import org.opencv.core.Core;
import org.opencv.core.Mat;
import org.opencv.core.Point;
import org.opencv.core.Scalar;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;

public class TestRacerColors {

	public static void main(String[] args) {
		System.loadLibrary(Core.NATIVE_LIBRARY_NAME);

		String[] colors = new String[] {"white","black","red","blue","yellow","green","orange","pink","purple"};

		Scalar[] sBasic = new Scalar[] { new Scalar(  0, 0, 255), new Scalar(  0,   0,  0), new Scalar( 0, 255, 255), new Scalar( 80, 255, 255), new Scalar(30, 255, 255), new Scalar(60, 255, 255), new Scalar(20, 255, 255), new Scalar(175, 60, 255), new Scalar(150, 120, 170)};
		Scalar[] sStart = new Scalar[] { new Scalar(  0, 0,   0), new Scalar(  0,   0,  0), new Scalar(170, 50, 150), new Scalar(100,  50, 150), new Scalar(10,  50, 150), new Scalar(30,  50, 150), new Scalar( 0,  50, 150), new Scalar(160, 50, 150), new Scalar(120,  50,  80)};
		Scalar[] eEnd   = new Scalar[] { new Scalar(179, 5, 255), new Scalar(179, 255, 80), new Scalar(180,255, 255), new Scalar(120, 255, 255), new Scalar(25, 255, 255), new Scalar(80, 255, 255), new Scalar(15, 255, 255), new Scalar(170,255, 255), new Scalar(135, 255, 255)};
		int idx = 0;

		Mat image = Imgcodecs.imread("image_013.png");
		Imgproc.cvtColor(image, image, Imgproc.COLOR_BGR2HSV);
		Mat result = image.clone();

		for(String color:colors) {
			Mat mask = new Mat();
			Core.inRange(image, sStart[idx], eEnd[idx], mask);
			String[] values = MatHelper.getStat(mask);

			// 面積最大ブロブの中心座標を取得
			Point center = new Point();
			center.x = Double.parseDouble(values[0]) + ( Double.parseDouble(values[2]) / 2 );
			center.y = Double.parseDouble(values[1]) + ( Double.parseDouble(values[3]) / 2 );

			// 該当箇所を丸で囲う
			Imgproc.circle(result, center, 30, sBasic[idx], 3, Imgproc.LINE_AA);

			Imgproc.cvtColor(mask, mask, Imgproc.COLOR_GRAY2BGRA);
			Imgcodecs.imwrite("image_013_" + color + ".png", mask);
			idx++;
		}
		Imgproc.cvtColor(result, result, Imgproc.COLOR_HSV2BGR);
		Imgcodecs.imwrite("image_013_new.png", result);
	}
}

試したこと

Rangeの値を何回か変えて実行しましたが、改善されませんでした。
カスケード分類器によるUpperBody検索を実行しましたが、改善されませんでした。
DNNの利用を検討しています。

補足情報（FW/ツールのバージョンなど）

0penCV 4.1.2
Java 1.8

Comments

[m.ts10806]

もっと簡単な題材にしては…

Answer 1

アイディアを適当に羅列してみます。(記載順に意味はありません。)

• テロップとか不要な部分はマスキングしてから処理をする
• まずは2値化して形状を検出してから色判定する
• 楕円を検出して自転車の位置を当たり付ける(横からの画像が多くないと出来ない)
• トラック(コース)を検出してからその領域内だけを選手検出対象にする

Comments

[Andy]

ご回答ありがとうございます。
コースのどの部分を走っているかを知る必要があり、トラックの検出は別途行ないました。
色による単純な二値化しか試していなかったので適応的しきい値処理を試そうと思います。

[oikashinoa]

おもしろい題材なんでぜひ頑張ってみて下さい！

Answer 2

Java使いではありませんが手法は参考になると思います。

カスケード分類器によるUpperBody検索を実行しましたが、改善されませんでした。

人の上部のみの検索、ということでしょうか？
自転車に乗っていますので、自転車と人をコミコミで物体検出をしてはいかがでしょうか？
正解画像をもとに背景と合成して、データ増強した画像で学習させる、
ということが(少なくともPythonでは)OpenCVでできます。
HAAR-LIKEのキーワードで探すと色々出てきます。

人が移っていると思しき部分からさらに同アルゴリズムの頭の検出をすれば、
それなりの確率で頭の位置のみを検出できるはずです。
そこから何色に近い？をHSVか何かで比較したらよさそうです。

この方法にはDNNほどの精度や検出漏れのなさはないかもしれませんが、
これが現実的な線引きではないかと思います。

DNNの利用を検討しています。

既存のデータがそのまま使えるかどうかわかりませんが、
上記の方法より処理は重くデータをそろえるのも大変かと思います。
OpenPoseで人っぽい部分、その人の頭っぽい部分を検出、さらにそこの色が何に近いかを検出というような流れでしょうか。

Comments

[Andy]

ご回答ありがとうございます。
ご認識の通り、OpenCVに同梱されているカスケードファイルの（haarcascade_upperbody.xml）を使用して上半身の検出を行いました。

ご提案いただいた案（自転車と人->頭->色）の検出器の構築した場合、どのぐらいの精度になるものかわかりますでしょうか？
感覚的なもので構いませんのでお教え頂けると助かります。
目指すところとしては8割（１枚の画像で9人中7人）検出させたいと考えております。

[退会済みユーザー]

> 自転車と人->頭->色）の検出器の構築した場合、どのぐらいの精度になるものかわかりますでしょうか？
根拠はありませんが、恐らく七割くらいは見分けられると思います。
検出対象の「人と自転車の見た目」はそれほど変わらないので、手動でアノテーションしていけばもっと制度は上がると思います。

[Andy]

実際の検証はできていませんが、アプローチ方法がわかりましたのでベストアンサーとさせていただきます。