対象物の数を数える時にNNは用いられるか？

Question

画像中にある、ある画像の数を数える際、NNは用いられますか？
だとすれば、どういう形で用いられますか？

回答を受けて、
自分が考えたのは、画像というのは結局「色」と「形」で構成されているのだから、
ある画像中の、特定の画像の「色」の範囲を指定して検索してその色のピクセル数を数えれば、
結果的に数を数える事ができ、この仕組みにNNは不要だと考えたのですが、いかがでしょうか？

また、
具体的なpythonコードの載っているサイト等を教えて頂けると有難いです。。
あまり大きなライブラリは使わずに、、cvとか。

Comments

[TakaiY]

「画像中にある、ある画像の数を数える」ってどういう意味で使っていますか？ 一般的には、街を写した写真に人や車がいくつあるかみたいなことを指しているんだと思うのですが、違うんでしょうか？

「特定の画像の「色」の範囲を指定して検索してその色のピクセル数を数えれ」ることでそうしうことは実現できるとは到底思えなんですが。

[退会済みユーザー]

人や車に対しては難しいですね。

人や車をOpenCVとかが数えている仕組みは、よく分からないので教えて貰いたいです。。

[quickquip]

> あまり大きなライブラリは使わずに、、
はどういう意図なんでしょうかね?
ライブラリを使ってないということはそのプロジェクトが自前で実装しているわけだから「複雑で巨大なソースの塊がいい」って言っているようにしか見えないんですが……

Answer 1

https://arxiv.org/abs/2101.01386
https://arxiv.org/abs/2102.04366

適当に検索するだけで論文はでてきます。
リファレンスをたどっていけばいいでしょう。

詳しくはありませんが、おそらく分野でもニッチな問題設定で、"有名なデータセット"とか"有名なコンペ"とか"有名なモデル"がないんじゃないでしょうか。

---

「動画を作るのにどのぐらいのスペックのマシンが要りますか」とか「お金を稼ぐにはどのぐらい技術がいりますか」レベルの聞き方で、曖昧すぎてなにが聞きたいことなのかがわからないタイプの質問の仕方です。

Answer 2

画像内の特定の対象物を検出する手法は色々あり、課題の条件によって用いる手法は変わりますが、ニューラルネットを使う場合もあります
ニューラルネットを使う場合は、
画像認識の際の、分割問題の解決方法？？
の回答にも書きましたけど、「物体検出」をやります

質問の題名の「対象物の数を数える...」の「対象物」が人物の場合、たとえば下記画像の長方形の数が人物の数です
画像
画像
上記二つ目の画像では、検出できてない人物がいるし、人物が重なってるあたりは誤検出してるようにも見えるので、ニューラルネットでも、常に間違えず完璧に数えるのは難しいです

Comments

[退会済みユーザー]

何となく読んだ感じだと、
普通の、特定画像の検出プログラムを実行する事で、実行中に、
その特定画像の個数も実は数えており、
その「個数」を出力するプログラムを作る事で可能になるといった感じなんですか？

[jbpb0]

ニューラルネットでの物体検出の手法にも色々ありますが、分かりやすいのは下記の2ステップで行う手法だと思います
・ステップ1：画像内の、物体がある(らしい)領域(長方形)を検出
・ステップ2：上記ステップ1で検出した各長方形部分のみを切り出して、それぞれの長方形画像を画像分類アルゴリズムで分類

「対象物」が人物の場合は、上記ステップ2で「人物」に分類された長方形の数を数えます

https://qiita.com/mshinoda88/items/9770ee671ea27f2c81a9
の「図2-2-2」も見てください

[退会済みユーザー]

細かな説明ありがとうございます、もっと詳しくお聞きしたい部分なのですが、
ステップ１について、どのような方法で「物体があるらしい領域を検出」しているのでしょうか、
教えて下さい、もしサンプルコード等があれば是非みてみたいです（これも巨大なパッケージ、cv等は使われていない方が良いです）。

[jbpb0]

> 「物体があるらしい領域を検出」

の手法にも色々ありますが、R-CNNの論文では、
https://qiita.com/mshinoda88/items/9770ee671ea27f2c81a9
の「2-2. R-CNN (Region-based CNN)」というところに書かれているように、「Selective Search」という手法が採用されてました

Selective Search
でググると、アルゴリズム解説記事とか、Python実装例とか、色々見つかるので、そこらへん見てください

ただし、この手法は、現在ではあまり使われてないと思います
分かりやすいのですが、計算コストがかかる割に性能がいまいちなので、現状使われてるAI物体検出では、後に現れた他の手法が採用されてます

[退会済みユーザー]

https://qiita.com/t-hiroyoshi/items/e9def50ba2c2249db04b
ここを見ると、手法がいくつか載っていました。

Objectnessはいまいちらしいのですが、仕組みは何となくわかります。
この記事の例だと、電車の画像を用いて、電車の画像を認識している感じでしょうか？
画像全体を１万個の画像に分割して、「スコア」が高い部分を連結させる感じですかね。
この場合の「スコア」って、一応説明が書かれていますが、電車の画像だけを元にして算出されるわけではないんですよね、この「スコア」はどのように付けられるのかが、あまりよく分からない。

CPMCは背景から対象を切り出したい時に使えるらしいですが、点列のグラフカットというのがよく分かりません。

Selective Searchは、最初のでいう「スコア」が近いもの同士を結合していく感じでしょうか。
結合していく段階の変化を基に認識というのはよく分かりませんが、そういう事でしょうか。

Object Proposalsは微分がらみですかね？最新のものというのはこれですか？これもよく分かりません。巨大ライブラリを用いないコードがあれば見てみたいです。

また加えて、自分は兼ねてから、対象が特異的で単一の色を持つ場合、その色のピクセル数を数えさせて対象のピクセルサイズで割る事で対象の個数を求める、という方法が有効だと考えているのですが、こういったコードにNNは上手く用いられるのでしょうか、その場合どういった形で用いられるでしょうか。

[jbpb0]

> 最新のものというのはこれですか？

新しい手法は、「物体があるらしい領域を検出」もニューラルネットでやることが多いと思います

Faster R-CNNの論文は2015年に書かれたものですが、
https://qiita.com/mshinoda88/items/9770ee671ea27f2c81a9
の「2-5. Faster R-CNN」というところに書かれているように、その時点で既に「Selective Search」を止めてニューラルネットを使ってます

[退会済みユーザー]

Faster R-CNNと呼ぶのでしょうか？読むだけではよく分からないので、
それを用いた簡単なコードが載っているサイト等あれば教えて頂きたいのですが・・・。

[jbpb0]

Faster R-CNN自体のコードが読みたければ、
https://qiita.com/arutema47/items/8ff629a1516f7fd485f9
の「R-CNN系を試したい人へ」と書いてあるところから下に、コード等へのリンクがたくさんあるので、そこらへんから辿って探してください

それらを使って推論するコードを読みたければ、このあたりを見てください
https://note.com/navitime_tech/n/ncfa9b84e8246
https://qiita.com/ImR0305/items/c2674dfe9f5ec1301304

[退会済みユーザー]

簡単には、やはり、
画像をいくつかの領域に分割
↓
分割した画像同士の類似度を計算（NN使う？）
↓
類似度が同じもの同士を結合
↓
結合した範囲を囲む

といった感じなんですかね？？

[jbpb0]

個々の手法の詳細内容については、この質問の「NNは用いられるか？」からかなり逸脱していると思うので、別の質問にしてください

[jbpb0]

あと、「用いられるか？」という質問だったので、「用いられることもある」と答えましたけど、「用いるべき」とか、「ぜひ用いましょう」とか言ってるのではありませんので、誤解の無いように

課題に応じて適切な手法を選ぶべきで、常にニューラルネットが最良の手というわけではありませんので