回答編集履歴
1
test
CHANGED
|
@@ -6,6 +6,6 @@
|
|
|
6
6
|
|
|
7
7
|
> 時には前部だけ訓練(ネットパラメータ更新)を行いたいし、時には後部だけを更新したい
|
|
8
8
|
> 当然、前部と後部同時に更新したい場合もあります。
|
|
9
|
-
一般に、フリーズは、（例としてCNNの場合）膨大なデータを使って学習したイイ感じのネットワークの出口付近だけを挿げ替える目的で使われます。
|
|
9
|
+
一般に、フリーズは、（例としてCNNの場合）膨大なデータを使って学習したイイ感じのネットワークの出口付近だけを挿げ替える（出口付近以外をフリーズさせる）目的で使われます。
|
|
10
|
-
「出口付近だけ」
|
|
10
|
+
「出口付近だけ」重みを更新する理由は、入力層付近はタスク毎に特化された抽象化されたデータを捌いているわけではなく、一般的なタスクにおける極狭い領域のエッジ情報しか含まれておらず、タスクによらないユニバーサルな特徴量抽出器として働くためです。
|
|
11
11
|
やってみると良いですが、入り口付近の重みを学習させようとするとかえって性能が落ちるはずです。転移学習で出口付近を学習させる場合、最後の1～2層だけ再学習することが多いように思います。
|