deep NNの指定レヤーのみ訓練したい

Question

deep NNの指定レヤーのみ訓練したいですが、
どうすればできるのでしょうか。

それから、例えば、
NNの前半のみ訓練の対象にしたいとか、後半のみ訓練の対象にしたい場合、
どうやって実現するのでしょうか。

(コード例が私にとって一番分かりやすいと思います)

どうぞ宜しくお願いします

Comments

[fiveHundred]

> (コード例が私にとって一番分かりやすいと思います)
「代わりにコードを書いてくれ」といった具合に丸投げだと判断されます。
そうでなくとも、TensorFlowとPyTorchのどちらで書くべきなのか分かりません。

[OOZAWA]

まあ、ことらはヒントでもいただきたい立場で、文句を貰うためにこの掲示板を利用するわけではないですね。
質問を無視されても良いが、技術以外の個人認識や価値観のような話にこちらも受け入れませんので、お互い愉快のためにそのような文字をここに書かれないよう、お願い致します。

[OOZAWA]

理論や概念的な質問を出せば、『ここはコーディーングのための質問掲示板だ❗　』と文句付けられました。。。
コードの例でも宜しいと言ったら、『丸投げだ　❗　』と、、、????????

[fiveHundred]

まずはこちらをご覧ください。
https://teratail.com/help/question-tips
これを守っていれば誰も文句は言えません。
逆に守っていなければ、「情報不足で回答できない」「十分な情報が無く、エスパー回答するしかない（＝適切な回答が出来ない）」「解釈するだけでも面倒で回答したくない」「運営でも非推奨とされている行為をしてしまう」などといったことになります。

また、例えばKerasであれば、普通にドキュメントに載っています。
https://keras.io/ja/getting-started/faq/#freeze
tensorflowでもtf.kerasを利用しているのであれば同じです。
PyTorchは分かりませんが、回答を待つよりもドキュメントなどを調べたほうが早いのではないでしょうか。
（前述のページの通り、質問する前に調べることは最低限の行為です）

[fiveHundred]

この質問の場合でも「現状のコードを提示する」「自分で調べたことを書く」だけでも丸投げだと判断される可能性が大きく減ります。

Answer 1

Backpropagationを行う際に、更新される重みを一時的に計算しておいて、学習したいレイヤーのみ重みを更新すると良いと思います。
ただ、既存のライブラリで実現するのは、そのような機能が実装されているものはないので、難しいと思います。