timm(事前学習モデル)でファインチューニングする際の問題点

Question

timm(事前学習モデル)を使った教師あり学習でファインチューニングする際、
畳み込みニューラルネットワークは事前学習モデルで学習した画像のサイズとファインチューニングの際の画像サイズの変更が可能なのに対し、vision transformerは事前学習モデルで学習したサイズの画像でないとファインチューニングできないのはなぜですか？

Answer 1

CNNでも画像サイズの変更が不可能なものはあります．
モデルによって画像サイズが異なっても動くようデザインできるかどうかの話でしかありません．

Comments

[k.lolo]

ご回答ありがとうございます。
例えばtimmのvit_base_patch32_224_in21kではどのような仕組みで画像サイズか異なると動かなくなるのか詳しく説明していただけませんか？

[ps_aux_grep]

self-attentionの箇所で全結合層が使われます．パッチのサイズは一緒でも画像サイズが異なればパッチの数が異なり全結合することができません．
たとえばCNNでもLeNetは全結合層の前にFlattenをしているので画像サイズを変更すると利用できません．
逆に，画像サイズが異なってもいいCNNはたいてい全結合の前にGlobalAveragePoolingが使われていることにが理由です．これは画像サイズに依存しないGlobalAveragePoolingの直前のフィルタ数の数だけ出力が得られることで実現しています．

[k.lolo]

ありがとうございます。私が使っているCNNの事前学習モデルではadaptive average poolingが使われているのですがこれも直前のフィルタ数の数だけ出力が得られることで違うサイズの入力画像を使用できるのですか？

[ps_aux_grep]

はい． https://pytorch.org/docs/stable/generated/torch.nn.AdaptiveAvgPool2d.html より
The output is of size H x W, for any input size. The number of output features is equal to the number of input planes.
と書いてあります通りです．この場合だとフィルタの数Cどころか画像サイズH x Wも固定の出力を得られるようになっていることに注意してください．