DeepLearning 転移学習とファインチューニングの使い分けについて

Question

・転移学習
学習済みモデルの重みを利用して出力層の直前だけを学習させる

・ファインチューニング
学習済みモデルの重みを利用して全ての重みを再学習させる

この転移学習とファインチューニングの使い分けが想像できません。
転移学習とファインチューニングをしてみた感じ、圧倒的にファインチューニングの方が
転移学習よりも収束も精度も良いという結果になりました。

転移学習は「特徴抽出器として利用される」というらしいと知りました。
しかしそれでもなお転移学習の良さがわかりません。

そこで質問です。
転移学習にしかできないこと、転移学習だからこと恩恵が受けられるというような使い方は
あるのでしょうか？それぞれの短所と長所と絡めて教えて欲しいです。

Answer 1

これは極めてタスク依存な問題でして、ある特定の問題に対して

• 転移学習はファインチューニングより有効
• ファインチューニングは転移学習より有効
• どちらも同程度に有効
• どちらも同程度に有効ではない

いずれもありえます。

---

とはいえ、確かにファインチューニングの方が原理的には有利な場面が多いかと。

転移学習には

• 再学習の計算コストが安い

計算機をたくさん並べなくてもできます。

• 再学習で苦労するリスクが小さい

多少データの質に問題があっても、オーバーフィットして変な方に行ってしまうリスクを減らせるかも。

というようなメリットがあります。要するに、簡単に使えてそこそこの性能という特性です。それで実用水準に達したら嬉しいですね。

また、ファインチューニングと転移学習は必ずしも相反するというものでもなく、合わせ技とかもあり得るので、うまくバランスを探って回すと計算コストを削減できます（試行錯誤する手間を考えると、最初からファインチューニングっていうのも一つの選択肢ではありますが・・・規模による）。

Comments

[_Victorique__]

回答ありがとうございます！
たしかに重み固定してる分計算コストが下がりますし、inceptionV3などの優秀な学習済みモデルで転移学習すればオーバーフィッティングの可能性も下がりますね！
分かりやすい回答ありがとうございました！！