Faster R-CNNのRegion Proposal Networkのアルゴリズム

Question

Faster R-CNNのRegion Proposal Networkアルゴリズムが理解しきれていないのでどなたか教えてください。

私の理解としてFaster R-CNNのRPN(Region Proposal Network)は、
各アンカーにおけるグラウンドトゥルースとのIoUを計算し、
IoUが高いものについては物体の有無と、
アンカーの求めたバウンディングボックスとグラウンドトゥルースのバウンディングボックスとどれだけずれてるか、
についてディープラーニングを行うようですが、
このバウンディングボックスとのずれをどのように活かして学習するのでしょうか？
1回目のアンカーから求めたバウンディングボックスに対してボックスのずれ量を補正して学習を繰り返すのでしょうか？
となると最初にアンカーを設置した意味がよくわからないのですが、ランダムに提案するよりはFeature mapに基づいた提案をしたほうが効率が良いからということでしょうか？

よろしくお願いします。

Answer 1

ボックスのずれ量を補正して学習を繰り返すのでしょうか？

? となると最初にアンカーを設置した意味がよくわからないのですが、ランダムに提案するよりはFeature mapに基づいた提案をしたほうが効率が良いからということでしょうか？

その理解であっています。
最初からモデルに矩形自体を予測させるやり方 (YOLOv1はこのやり方) だとあまりうまくいかないことが実験的にわかったので、Faster-RCNN 以降の YOLOv2/v3、SSD などの物体検出モデルではアンカーボックスを使うようになっています。

私がわかりにくいと思った「Faster RCNN」のポイントの解説 - のんびりしているエンジニアの日記

Comments

[todo_suke]

疑問を解消することができました。
またその経緯までご回答いただきありがとうございました。