multi-scaleでclassとbounding box寸法の推定における深刻問題

Question

Faster R-CNN, M2det, CBNet はPFNでmulti-scaleのFeature mapを生成して、
それから、それそれに対応するHead netでclassとbounding boxの寸法や位置を推定します。
同じ画像位置に対して異なるscaleのFeature mapsから生成した分類結果とbounding boxの寸法や位置の推定値が一致しない可能性がありますので、
どっちを採用するかは問題になると思います。

※ 単純に異なるscale間の信用度scoreを比較することは意味がないと思われますね。

ご存知の方ヒントやアイディアをくださいませんか

Answer 1

「Feature maps」は単に諸regressionに利用されるデータであって、射影元に当たる。
ところが、射影元の形、サイズ、scaleは何であれ、射影先としてのregressionの目標値とは論理的に無関係！！

学習によって強引に射影させるので。

ただ、射影元としてのデータの品質、可信度、またはデータ量は目標値に対するregressionの結果の精度に影響するはず。