Fast R-CNN, Faster R-CNN, SSDにおいての『ROI Align』処理

Question

Fast R-CNN, Faster R-CNN, SSD では提案されたobject 領域(proposals)を一つ一つ取り出して順番に『ROI Align』を行い、ROI pool (ROI features map)を生成していくのでしょうか。
もしそうであれば、この過程は並行処理が出来ないでしょうか。

更に、もし『ROI Align』の前のlayerで生成したfeature mapがpyramid タイプのであれば、
異なるサイズのfeature mapをどうやって利用するのでしょうか。
例えば、異なるサイズのROI pool (ROI features map)を生成するのでしょうか、
それとも強引に同一サイズのROI pool (ROI features map)を生成するのでしょうか。
異なるサイズのROI pool (ROI features map)を生成する場合それ以降のネットは全部違う事になりますし、強引に同じサイズのROI pool (ROI features map)に統一すれば、せっかくpyramid化した複数の異なる解像度のfeature mapの存在義が無くなるような気がしますね。

ご説明或いは議論いただければ幸いです。

Answer 1

Faster R-CNNでは,領域のproposalを一つ一つ取り出して、順番に『ROI Align＝出力する特徴mapのサイズを統一するためのresampling』を行い、ROI pool (ROI features map)を形成する。
なので、Faster R-CNNのdetection過程はアルゴリズム的には並列的でない　⇨ GPUを利用してコードの複製で並行実行するのも可能だが。

SSDの場合は領域のproposalは行わず、全格子の中心に対するanchorを掛けて、特徴mapを生成し、判定する。異なるscaleの特徴mapの間各自独立的にanchorを掛け、推論・推定を行うので、本質的に並列性がある。
ただ、最後に異なるサイズの特徴map同士の判定結果を何に基準にして総合的に決めるのは問題????？
mapサイズを考慮せず単に IoU(Intersection over Union)値の大小で決める？？？