機械学習による画像認識の手法について質問

Question

機械学習を用いたデータ（xml）を用いて画像認識をしたいと思い、色々と調べています。

機械学習については現在勉強中なので的外れな質問になってしまいますが、

カスケードファイルと呼ばれる拡張子がxmlのデータを作成したい場合は、何を行えば良いのでしょうか。
また、機械学習について詳しく記載されているwebサイトがあれば教えて欲しいです。

Comments

[pepperleaf]

"カスケードファイル xml 作成" と検索したら、参考になるサイトがあるようです。 例えば "OpenCV 物体検出、分類器作成と..."<http://mirai-links.com/2018/06/11/opencv-%E7%89%A9%E4%BD%93%E6%A4%9C%E5%87%BA%E3%80%81%E5%88%86%E9%A1%9E%E5%99%A8%E4%BD%9C%E6%88%90%E3%81%A8%E6%A4%9C%E5%87%BA%E3%83%86%E3%82%B9%E3%83%88%E3%80%80%E3%81%9D%E3%81%AE%EF%BC%92/> とか。
内容理解しきれてないので、コメントにします。

[tiitoi]

カスケードファイルで通じるような標準化されたファイル形式はないので、なにかの例を見て質問したのであれば、参考リンクを追記してください。

[Chamuji]

pepperleaf様　ご回答ありがとうございます。サイトを見てみます。

[Chamuji]

tiitoi様　ご回答ありがとうございます。　OpenCVの公式サイトからダウンロードできるデータの中に
"haarcascade_frontalface_default.xml"という顔の特徴を持つデータや、他にも目の特徴を持つデータの拡張子がxmlだったので、特徴データはxmlで作成しなければいけないのだと考えておりました。

[tiitoi]

これで生成される xml は物体検出用のものになりますが、やりたい画像認識は物体検出であっていますか？

[Q71]

大昔にカスケードというコンピュータウィルスがありました。入力した文字が滝のように下に落ちていきます。「カスケード ファイル」とだけいうと、XMLの書式を勉強すればわかりますが、上位下位の構造があるファイルです。意味が違えば意図が通じません。ご注意を。
同じく、「画像認識」とは、「この画像に写っているのは犬である」「犬と猫である」と、画像全体を識別するものです。一方、質問文に上がっているのは「物体認識」で、「この位置に、犬がいる」「この位置に車がある」と、位置を特定して認識をします。OpenCVでできるのは検出できる対象が決まっているものです。
本当にあなたがしたいことは何ですか？「これこれをしたい。こういうものを調べたところ、こうすればいいらしい。それにはこれが必要だ。どうすれば？」と、最初から順番に説明するといいと思います。

[Chamuji]

Q71様　ご回答ありがとうございます。
画像認識と物体検出は全く同じものだという風に認識しておりました。
違うものなんですね。
私がしたいことは麻雀牌を検出し、自分の上り役を自動的に計算することがしたかったです。
つまり、物体検出を行いたいということで間違い無いでしょうか。

[Chamuji]

tiitoi様　
現在、私がしたいことは麻雀牌を検出し、自分の上り役を自動的に計算することがしたかったです。
これを行うためには物体検出を行うという認識で間違い無いでしょうか。

[tiitoi]

画像認識というと、画像になにが写っているかを判定する画像分類 (例: 猫か犬か)、画像に写っている物体を検出する物体検出 (例: 画像に写っている人物を矩形で検出する) などいろいろな種類があります。
今回は麻雀牌を画像から検出するということなので、物体検出が該当すると思います。
CascadeClassifier() は今回のケースに使用できます。
まずは回答のリンクを参考に、画像を自分で撮影するか、ネットから集めて、画像のどこにどの牌があるかの正解データを作りましょう。←手作業なのでここが一番面倒で大変な部分です。
ラベル付け補助ツールなど使うといいかもしれません。
https://github.com/NaturalIntelligence/imglab

Answer 1

OpenCV の CascadeClassifier() で詠み込む xml ですね。

opencv_createsamples.exe にデータを与えて学習を行うと、そのような xml ファイルが生成されます。

以下の Qiita 記事の手順が記載されているので参考にするとよいと思います。

openCVで物体認識 by traincascade - Qiita

Comments

[Chamuji]

tiitoi様　回答ありがとうございます。
opencv_createsamples.exe　というのは拡張子からするにWindows限定のツールっぽいのですが、MacOSでも使用することは可能なのでしょうか？
また、OpenCVを公式サイトから４．０をダウンロードしてみたんですが、その中にopencv_createsamples.exeは見当たらず、３．４ではあるという状況です。
最新のOpenCVではなく、古いのを使うべきなのでしょうか？

また、ラベル付け補助ツールのサイト
https://github.com/NaturalIntelligence/imglab
のツールを使う場合は、寄付を行わないと使用することが出来ないのでしょうか？

質問が多くて申し訳ありませんがご回答よろしくお願いします。

[tiitoi]

> MacOSでも使用することは可能なのでしょうか？

4 でもまだあるみたいです。OpenCV は基本的にソースビルドして使うものなので、Mac でもソースビルドしてバイナリを作れば使えるのではないでしょうか？
(Mac OS は持っていないので、こちらで試すことはできませんが)
https://docs.opencv.org/4.0.0/dc/d88/tutorial_traincascade.html

> 寄付を行わないと使用することが出来ないのでしょうか？

寄付は任意なので、別にしなくても使えると思います。
`<ファイルパス> <pos or neg> <x>, <y>, <width>, <height>` という形式で物体がどこにあるかというアノテーションを作らないといけないので、数値を直接入力して作ってもいいですが、大変なので GUI ツールを使われてはということで提案しました。imglab がそのまま OpenCV で使えるファイル形式を出力できるわけではないので、そこからさらに Python コードで OpenCV で読み込める形にしてあげる必要はありますね。

[Chamuji]

tiitoi様　回答ありがとうございます。
現状はWindows、opencv3.4環境でやってみようと思います。

tiitoi様
申し訳ありませんが、立て続けに質問をしてもよろしいでしょうか。

現在、opencv_createsamples.exeとopencv_traincascade.exeの作業をおこなっております。

opencv_traincascade.exeで1枚の画像から50枚の画像を複製、vecファイル作成をしました。

その次にopencv_traincascade.exeを実行した場合、以下のようなエラーになってしまいます。

===== TRAINING 0-stage =====
<BEGIN
POS count : consumed 40 : 40
Train dataset for temp stage can not be filled. Branch training terminated.
Cascade classifier can't be trained. Check the used training parameters.

上記のエラーの原因についてなにかご存知でしたら教えていただくことは可能でしょうか

以下のサイトの手順で作業を進めいています。
https://www.pro-s.co.jp/engineerblog/opencv/post_6397.html

[tiitoi]

データがないのでこちらで試すことはできないので原因はわかりませんが、エラーメッセージ「Train dataset for temp stage can not be filled」で調べると、https://qiita.com/N2i-tanaka/items/628c546187771f0daf8d が出てきましたがいかがでしょうか。

[Chamuji]

tiitoi様　

そちらのサイトに記載されているエラー対処法のうち、
「-w 24-h 24　に設定」は試してみました。
「改行コードが違う」がどこを調べたり、直してよいかわからずまだできておりません。

以下のサイトのpositive画像とnegative画像を使用してやっています。
https://github.com/pddenhar/OpenCV-Dashcam-Car-Detection

以下のコマンドを入力してvecファイルなどを生成しています。
opencv_createsamples.exe -img .~~/pos/v1_0001.jpg -vec .~~/vec/ooo.vec -num 50 -bgcolor 255 -maxidev 40 -maxxangle 0.8 -maxyangle 0.8 -maxzangle 0.5 -show

opencv_traincascade.exe -data ./cascade/ooo/ -vec ./vec/ooo.vec -bg ./neg/nglist.txt -numPos 40 -numNeg 20