転移学習とファインチューニングの違い

Question

Deep Learningで、転移学習とファインチューニングという用語がありますが、
この2つの違いがわかりません。
わかりやすく違いを解説いただけないでしょうか？

私の理解だとどちらも、
既存の学習済モデルがあり、そのモデルと類似した別のモデル生成したい時に、
学習済モデルの一部を変更して、そのモデルの重みを初期値として学習し直す、
ことだと思っています。

Answer 1

Keras / Tensorflowで転移学習を行う - Qiita

この２つはよく混同されていますが、厳密には二つは異なります。

参考：What is the difference between transfer learning and fine tuning? - Quora

ざっくりと説明すると、違いは以下になります。

• 転移学習：既存の学習済モデル（出力層以外の部分）を、重みデータは変更せずに特徴量抽出機として利用する。
• ファインチューニング：既存の学習済モデル（出力層以外の部分）を、重みデータを一部再学習して特徴量抽出機として利用する。

（出力層付近以外を）再学習させないのが転移学習、させるのがファインチューニングということらしいです。ま、境界は曖昧なのかもしれません。

Comments

[Obayashi]

重みを変更するケースでも転移学習と言っている場合もあるように思いますが、基本的にはこのような違いだと理解しました。ありがとうございました。