画像分類モデルによる物体検出とYOLOやSSDなどのモデルによる物体検出の違いについて教えていだだきたいです

Question

画像分類モデルによる物体検出はどうしてできるのでしょうか。
例えば、EfficientNetやmobileNetにりんごとみかんの画像分類を学習させ、識別が可能となったモデルを作成したとします。
そのような画像分類モデルを使用して、物体検出を行うような公式ドキュメントが多くみられるのですが、どうしてそのようなことが可能なのでしょうか。ML Kit を使用したカスタムモデルhttps://developers.google.com/ml-kit/custom-models

YOLOやSSDのようにアノテーション画像を学習させたモデルで物体検出を行えることはスッと理解できるのですが、、、

また、非常に小さい物体を検出させたい場合(夜空の星など)は、画像分類モデルによる物体検出は可能なのでしょうか。
その場合、学習に用いる画像はその小さい物体一つ一つの画像を学習させることになるのでしょうか。

Comments

[jbpb0]

https://developers.google.com/ml-kit/vision/object-detection
の「カスタム TensorFlow Lite モデルの使用」
https://omuriceman.hatenablog.com/entry/firebase-detection
の「検出した物体の画像からラベル付けをおこなう」
あたりを見ると、別途「オブジェクト検出とトラッキング」モデルが有って、それに加えて高性能な「画像分類」モデルを使う、という話のように思います

[yugo1111]

つまり、画像分類モデルのみで物体検出をしているのではなく、オブジェクト検出用のモデルも併用しているという認識であっていますでしょうか。

[jbpb0]

そうだと思います

https://developers.google.com/ml-kit/vision/object-detection
を見ると、ML Kitには物体検出用の「オブジェクト検出とトラッキング」モデルが有るので、物体検出にはそれが使えますが、上記webページの「主な機能」に書かれてるように、それにデフォルトで備わってる「分類」機能は「粗い分類」なので、あまり使い物になりません
そこで、自分の用途で検出したい物体に合わせて、予め「画像分類」モデルを学習しておいて、それを併用するのが、上記webページの「主な機能」の「カスタムモデルを使用した分類」です

質問者さんが質問で引用した
https://developers.google.com/ml-kit/custom-models
の
「オブジェクト検出とトラッキング API はどちらも、カスタム画像分類モデルをサポートしています。」
も、上記と同じことを言ってるのだと思います
「オブジェクト検出とトラッキング」モデルで物体検出をする際に、分類性能を上げるために「カスタム画像分類」モデルを併用する、ということだと思います

[yugo1111]

そういうことだったのですね！
それであれば納得いきます。わたしももう少し注意深く読まないとだめですね、、
わかりやすくご説明していだだきありがとうございます！

Answer 1

結論：　恐らく分類モデル(Classification)を使って領域抽出(Regression)はできません。

以下に根拠を示します。

画像分類モデルを使用して、物体検出を行うような公式ドキュメントが多くみられるのですが

カスタムモデル（リンク）の説明に、
注: ML Kit では、カスタム画像分類モデルのみがサポートされます。AutoML Vision ではオブジェクト検出モデルのトレーニングが可能ですが、ML Kit と併用することはできません。とあります。つまり、以下の表の通りです。

機能名	できること
AutoML Vision	オブジェクト検出モデル
ML Kit	カスタム画像分類/カスタム物体検出モデル（※）

※ jbpb0さんの指摘を受け修正しました

非常に小さい物体を検出させたい場合(夜空の星など)は、画像分類モデルによる物体検出は可能なのでしょうか。
その場合、学習に用いる画像はその小さい物体一つ一つの画像を学習させることになるのでしょうか。

上記の説明の通りで、「非常に小さい物体」が写った画像に対し、分類モデル(Classification)を使って領域抽出(Regression)はできません。恐らくできるとすれば、「非常に小さい物体」が写った画像を「夜空の画像」と分類することです。

また、やってみないと分かりませんが、「非常に小さい物体」が小さすぎると（例えば数[px]）、畳み込み構造の中で特徴が埋もれてしまう（何もない真っ黒な背景と特徴が徐々に同化してしまう）のではないかと思います。「非常に小さい物体」の領域抽出は、普通の領域抽出タスクとは別にそれだけで一分野が構築されるような規模感の技術(参考)です。

Comments

[yugo1111]

とてもわかりやすいご説明をしていただきありがとうございます！
やはり、非常に小さい物体に対して画像分類モデルを使用することは難しいのですね。

非常に小さい物体アノテーション画像をYOLOv5で学習させたところ、ある程度検出できるモデルは作成することができましたので、やはりこれらのモデルを使用する必要があるのですね。

[jbpb0]

fourteenlengthさん

https://developers.google.com/ml-kit/custom-models
の
「ML Kit では、カスタム画像分類モデルのみがサポートされます。」
は、
・ML Kitでの「物体検出」で、自分で学習したのが使えるのは「画像分類」モデルだけ
という意味であって、
・ML Kitでは「物体検出」モデルが使えない
という意味では無いと思います

https://developers.google.com/ml-kit/vision/object-detection
はML Kitの「オブジェクト検出とトラッキング」モデルなので、これを使えばML Kitで「物体検出」ができると思います

[jbpb0]

fourteenlengthさん

> 以下の表の通りです。
機能名 できること
AutoML Vision オブジェクト検出モデル
ML Kit カスタム画像分類モデル

ML Kitでできることは、
https://developers.google.com/ml-kit/guides
の「詳細」の「すぐに使用できる API を試す」に書いてあるように、もっとたくさんあり、その中に「オブジェクト検出とトラッキング」も含まれてます

[退会済みユーザー]

ご指摘ありがとうございます。
ML Kitを「Google謹製のあれこれのカスタム機能を使いやすくするAPI」と捉えました。

Answer 2

オブジェクトの検出とトラッキング の「カスタム TensorFlow Lite モデルの使用」
iOSで手軽に物体検出とトラッキングをするにはML Kit for Firebaseの新機能が便利！ の「検出した物体の画像からラベル付けをおこなう」
あたりを見ると、
ML Kit を使用したカスタムモデル
に書かれてる内容は、別途「オブジェクト検出とトラッキング」モデルが有って、それに加えて高性能な「画像分類」モデルを使う、という話のように思います