NNの訓練を指定したレーヤーだけ行いたいです

Question

ニューラルネットワークが前部(入力層に繋がる)と後部(出力層に繋がる)から構成されている場合、
時には前部だけ訓練(ネットパラメータ更新)を行いたいし、時には後部だけを更新したいのです。
当然、前部と後部同時に更新したい場合もあります。

このようにNNに対する部分的な訓練・更新を行う方法を教えてください。
Pytorchのやり方の例で良いです。

よろしくお願いします

Answer 1

NNの部分的な訓練・更新を行う方法

この処理はフリーズと呼ばれています。Pytorchの例を掲載しているサイトのリンクを張ります。

参考：

時には前部だけ訓練(ネットパラメータ更新)を行いたいし、時には後部だけを更新したい
当然、前部と後部同時に更新したい場合もあります。

一般に、フリーズは、（例としてCNNの場合）膨大なデータを使って学習したイイ感じのネットワークの出口付近だけを挿げ替える（出口付近以外をフリーズさせる）目的で使われます。
「出口付近だけ」重みを更新する理由は、入力層付近はタスク毎に特化された抽象化されたデータを捌いているわけではなく、一般的なタスクにおける極狭い領域のエッジ情報しか含まれておらず、タスクによらないユニバーサルな特徴量抽出器として働くためです。
やってみると良いですが、入り口付近の重みを学習させようとするとかえって性能が落ちるはずです。転移学習で出口付近を学習させる場合、最後の1～2層だけ再学習することが多いように思います。

Comments

[insecticide]

＞この処理はフリーズと呼ばれています。

非常に貴重なアドバスありがとうございます。

早速リンク内容を勉強させていただきます

[insecticide]

素晴らしいコメントありがとうございます。💖
助かりました❣

本当に素晴らしいです。