深層学習:SSDの原著論文内で示された実験結果について

Question

###(問)
SSDの原著論文
にて示された写真の実験結果について、
SSD300,SSD512は入力画像の解像度の違い
SSDの基本的構造は変わらない
この結果から読み取れる主張として以下の４つのうち１つだけ誤っている選択肢を選びたいです。

1.VOC2007とVOC2012で扱われているクラス数は変わらない
2.COCOではBB位置の精度を重視した指標も用いられている
3.入力の解像度は精度に影響すると考えられる
4.SSDは小さな物体の検出を苦手とすることが予想される

あまり物体検出の論文などに慣れておらず実験結果について謝っている選択肢とその理由を教えていただきたいです。

Answer 1

1.VOC2007とVOC2012で扱われているクラス数は変わらない

正：共に20クラス

2.COCOではBB位置の精度を重視した指標も用いられている

正誤は微妙ですが、COCOはたぶんCOCOデータセットのことですので、「COCOと指標云々とをつなげて考えるのは違うのではないか？」という違和感があります。よほど変なことをしていない限り、表を素直に読むと「VOCのデータだけじゃ手薄に見えたからCOCOのデータもぶっこんだらスコアが上がったよ」と見るのが自然です。
ですので、ほかの選択肢が正であればこれは誤の候補です。

3.入力の解像度は精度に影響すると考えられる

正：表のいずれもSSD300よりSSD512のほうがスコアが高い

4.SSDは小さな物体の検出を苦手とすることが予想される

正：論文にまんま書いてあります。

Figure 4 shows that SSD is very sensitive to the bounding box size. In other words, it has much worse performance on smaller objects than bigger objects. This is not surprising because those small objects may not even have any information at the very top layers.

---

あまり物体検出の論文などに慣れておらず

しっかりした人に怒られるかもしれませんが、私は要旨を読むより先に真っ先に図や絵、グラフ、表だけ見ます。その後にPDFをキーワード検索しながら必要なところだけ見ます。

パワーポイントで説明を受けるのに「誰も文字なんか読みたくない」、「説明を"聞かせる人"に"説明を読ませる"のは三流」、というのと同じ原理（=受け手のワガママ）です。

その後に要旨を見て、必要ならもう少し探ります。これでちょっとは時間が節約できると思います。

Comments

[komeko]

一つ一つの選択肢の正誤理由に加え論文を読みやすくするアドバイスまでしていただきありがとうございます！
アドバイスを参考にしてこれからどんどん論文も読んでいこうと思います！！

[besteffortnet]

修了要件のある某教材の、そのままの問題のためか
このページを参照する人が多いので、誤解する人がないよう補足を追記します。

正解は選択肢1となります。
理由としては
「VOC2007とVOC2012で扱われているクラス数は変わらない」という主張は正しいのですが
問題文にあるように「結果から読み取れる主張」にそぐわないからです。結果を見ただけではクラスが同じかどうかは分からない、という理由のようです。

それでは
選択肢2は正しい、となってしまうのですが
「BB位置の精度を重視した指標も用いられている」というのは
0.5:0.95という指標も使われている点です。

0.5:0.95：これは、IoU（Intersection over Union）が0.5以上で、
AP（Average Precision）が0.95以上である物体の割合です。

つまり
0.5:0.95の意味は問題を解く以前に知っていることが求められます。

これはCOCOについて知ってないとこの数値の意味もわからないので
かなり難しい問題かと思います。

[退会済みユーザー]

>「結果から読み取れる主張」にそぐわないからです。
>（略）
> COCOについて知ってないとこの数値の意味もわからない
出題者の意図が分かりませんが、この理論で行くとCOCOでのIoUの定義が図にないとおかしなことになりそうな問題に思います。出題者に聞かないといけませんね。

---
大学の先生が出題者だったら「バカモン！わしの講義をちゃんと聞いていないからIoUが分からんのだよ！」で片付いてしまいますね:)

[besteffortnet]

そうですね。

先に”難しい問題”って書きましたが
個人的にはあまり良い問題とは思えないです。

とはいえ、試験問題とは完璧に納得いくものであるとは限らないので
（そうであってほしいとは思いますが）仕方がないですね。