低解像度の画像をCNNで学習させて、精度を上げるには

Question

###質問内容
ILSVRC に使われる CNN モデルの学習データに関する質問です。
学習データの画像サイズが、既存 CNN モデルの推奨サイズより大きい場合はダウンスケーリングすると思うのですが、
画像サイズが小さい場合はアップスケーリングをするのが一般的なのでしょうか？

VGG16 (推奨サイズ 224×224) でアップスケーリングする場合、たとえば

64×64 → 224×224 にすると 1×1 あたり 3.5×3.5[pix]
32×32 → 224×224 にすると 1×1 あたり 7×7[pix]
16×16 → 224×224 にすると 1×1 あたり 14×14[pix]

となるので、フィルタ(カーネル)サイズ 3×3 では特徴抽出がうまくできないのではないか？という疑問があります。

アップスケーリングをしない(64×64 で入力する)場合、VGGならプーリング５回でfc層手前で 2×2[pix] になるので、
それはそれで学習しにくいのではないか？という疑問があります。

また、入力画像サイズやモデルのフィルタサイズを変更して学習する場合、
変更前のモデルで Fine-Tuning された重みは、初期値として使えるのでしょうか？

###補足情報(言語/FW/ツール等のバージョンなど)
TensorFlow(Python 3.x) で構築

Answer 1

モデルによって多少異なるかもしれませんが、参考までに結果を随時載せていきます。

###入力画像
モデルの推奨サイズにアップスケーリングした方が精度が上がりました。
(アップスケーリングする際にデフォルトで何らかの補間が入ってしまうせい？)
###画像補間
写真（イラストでない）の場合は、

ダウンスケーリング：Area補間
アップスケーリング：Bicubic補間

でノイズ軽減・グラデーションの効果がありました。

Answer 2

自然な形でグラデーションとしてアップサンプリングしているのであれば意味はあるのではないでしょうか。
いきなりプーリング層が来ているわけではないので、問題にならないと思います。

それよりも、入力画像がそこまで小さいのなら、ネットワークを縮小させたほうが学習時間も短縮できるのでいいのではないでしょうか。
パラメータの数が多すぎて過学習しやすくなることが予想されます。

乱数でも初期値として使えるのですが、転移学習としての期待する効果が得られるのかは問題とデータ次第ではないでしょうか。

Comments

[nagagutsu_af]

グラデーションとしてアップサンプリングというのは、画像補間ってやつでしょうか。
OpenCV に補間のライブラリが幾つかあるようなので、使ってみようと思います。

ネットワークの縮小は、畳み込み層とプーリング層のブロックを減らすということですか？
それとも、特徴マップの数や全結合層のパラメータを減らすということでしょうか？
「低画質で人間では識別不能なものを識別する」みたいな研究を大学でやっているので、なんとか精度を上げる方法を模索中です。（超解像のCNNをするには時間がありません・・・）

[mkgrei]

単純補間のアップサンプリングがどれほどうまく働くのかは画像の粗さ次第でしょうね。

https://qiita.com/shngt/items/9c86e69e16ce6d61a0c6
研究なさっているのならDeconvolutionについてはもうご存知かもしれませんが、一応。
入力のところにDeconvolutionつけて、出力のところに層を追加すれば転移学習がすぐにできそうです。

縮小する際はパラメータを減らすのが一般的だと思います。
プーリング層があると小さくなるのでConv2Dで代用する工夫などが必要です。
ResNetが参考になるのではないでしょうか。

荒い画像といえば、
https://www.kaggle.com/c/statoil-iceberg-classifier-challenge/kernels
こんなコンペが行われています。
後一週間後に終了して更に一二週間経てば上位者の手法が見れるはずです。

画像自体だけでなく、波数空間に変換したりいろいろと工夫をしているようです。
大学の研究ならば、そのような小細工なしの手法が望まれているかもしれませんが。

識別できるのであれば、人間の直感に合わないだけで何かの特徴があるはずです。
そうでなければ超解像の手法がないと困難だと思われます。

GANならGithubに落ちているものを利用できるかもしれませんが、時間がかかる可能性がありますね。
https://elix-tech.github.io/ja/2017/02/06/gan.html

[nagagutsu_af]

詳しい回答ありがとうございます！
もう数年大学で研究を続けるので、今後の参考にさせていただきますm(_ _)m