交差検証を用いて誤差逆伝播法(重みの更新)をしたい。

前提・実現したいこと

交差検証を用いて誤差逆伝播法をしたい。

現在機械学習(Deep Learning)の勉強をしています。言語はpythonです。今回は交差検証を実践しようとしています。交差検証を用いることで最適なDeepLearningのパラメーターの選定ができるということを勉強して学びました。そこで交差検証を用いて誤差逆伝播法を行うプログラムを作成したいのですが、コードの書き方が分かりません。1epoch毎にKfoldで分割したデータの評価値(例えば絶対誤差)を基に全体としてモデルが最適化できるように重みを更新するプログラムはないでしょうか？
具体的な方法
①Kfoldを用いてデータを分割(K=3)。
②K=1で一回順伝播を行い評価値を取得(Val_1),K=2で一回順伝播し評価値を取得(Val_2),K=3で一回順伝播し評価値を取得(Val_3)
③[Val_, Val_2, Val_3]を用いてモデル全体として最も誤差が小さくなるように重みの更新(逆伝播)
④、①～③を繰り返す。
分かりにくくて申し訳ございません。
よろしくお願いいたします。

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

ソースコード

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

tiitoi

2019/12/05 16:44 編集

その文脈でいうパラメータは学習率やバッチサイズなどのハイパーパラメータのことであり、モデルの重みのことではないと思います。たぶん、これらのパラメータをグリッドサーチで決めるという話を見たのではないかなと思います。誤差逆伝播法の理論を理解しているのであれば、質問の内容は意味が通らないです。

taltan

2019/12/05 17:29

tiitoi 様、ご回答ありがとうございます。その文脈でいうパラメータは学習率やバッチサイズなどのハイパーパラメータのことであり、モデルの重みのことではないと思います。たぶん、これらのパラメータをグリッドサーチで決めるという話を見たのではないかなと思います。 →はい、その通りです。グリッドサーチを使えばハイパーパラメータのチューニングの参考になるということは勉強しました。誤差逆伝播法の理論を理解しているのであれば、質問の内容は意味が通らないです。 →誤差逆伝播法については一通り理解しているつもりではいます。質問の内容についてもう少し詳しく述べさせてください。１．分割数は３(A,B,C)として考えます。２．1epochの中でA,Bを使い順伝播を行いA,Bの誤差(Error_AB)を取得、 B,Cを使い順伝播を行いB,Cの誤差(Error_BC)を取得、C,Aを使い順伝播を行いC,Aの誤差(Error_CA)を取得します。３．誤差が3つ(Error_AB, Error_BC, Error_CA)取得されます。４．Error_AB, Error_BC, Error_CAがすべて小さくなるように重みの更新を行いたい。このような学習の方法はないのでしょうか？夜遅くに申し訳ありません。よろしくお願いいたします。

tiitoi

2019/12/06 01:42

> Error_AB, Error_BC, Error_CAがすべて小さくなるように重みの更新を行いたい。それは A, B, C すべてを使用して逆伝搬したときじゃないでしょうか？