Q&A
インデントの崩れは`を三つずつソースコードのブロック前後に置けば大丈夫ですよ。
こんにちは！
tensorFlowでNNを訓練する時に、下記のような表現が良くあります。
train_X = d_train[[0,1,2,3,4,5,6]]
train_Y = d_train[[7]]
x = tf.placeholder(tf.float32, [None, 7])
y = tf.placeholder(tf.float32, [None, 1])
num_epochs = 10
for i in range(num_epochs):
...sess.run(optimizer, feed_dict={x:train_X, y:train_Y}) #⇐此処に問題！
この例では forの10回循環を実行しますが、
毎回変数train_Xとtrain_Yの内容が変わるのでしょうか。
d_trainが固定内容なので、train_Xの中身も、train_Yの中身もこのfor文に更新されるのを感じもしないのです。なので、X,Yにindexされるデータも毎回変わらないので、10回ループしても
意味がないじゃないかと、、、
文中の「...」はindentを表し、この掲示板の表示は勝手にスペースやindentを無くすため。
ヒントでも宜しくお願い致します。
回答3件
0
ベストアンサー
質問に対する回答はなされているので、関連する情報を提供します。
まず、num_epochs = 10ですが、これはepochという学習を行う単位を基準にした学習回数の定義を意味しています。この学習単位ですが、いくつかのバリエーションがあります。メジャーなものとして、まずバッチ学習があげられます。これは与えられたデータ全件を一括で行うことを１単位とするというもので、質問に記載されているコードはバッチ学習を意味しています。もうひとつはミニバッチ学習と呼ばれるもので、与えられたデータをもう少し小さい単位に分割して全件の学習を行うことを１単位とするものです。mkgreiさんの示すコードはこのミニバッチ学習の一部分を示しています。
学習という処理は、optimaizerが定義された方法に基づき少しだけウェイトとバイアス（まとめてパラメータと呼ぶ）を更新することを意味しています。したがって、１回の計算では結果を得ることはできないのでnum_epochsで学習回数を定義する必要があります。
学習はあらかじめ定義したコスト関数の結果をもとに行われます。同じデータであってもコスト関数の結果が満足のいくものでなければパラメータの更新は継続されます。よって同じデータを投入しても学習自体は進むことになります。
私は、バッチ学習はパラメータの更新が安定的であることが特徴ととらえています。安定的とはおおよそ同じ方向に学習が進んでいくというイメージです。安定的であることは必ずしもいいこととは限りません。むしろ、n回目の学習時のデータとn+1回目のデータの分布構造が異なっているほうが大胆にパラメータを更新してくれたりするので、結果としていい感じに学習が進むことがあると理解しています。ただし、そもそものデータに不均衡があるような場合（例えば、ある説明変数が0と1で構成され、0が1万件に対して1が100件）、ミニバッチの作成より1が0件という状態が連続するような状態も起こりえます。こうした場合、コスト関数の結果がパラメータの更新前と後で変化がないことが起こりえるので、結果として学習がうまく進まないということになると思っています。
投稿2018/02/21 11:20
総合スコア3376
親切なご解説本当に有難う御座います。
勉強になりました！
１．「バッチ学習」と「ミニバッチ学習」
２．optimaizerが定義された方法に基づき少しだけウェイトとバイアス（まとめてパラメータと呼ぶ）を更新する
３．※ 同じデータであってもコスト関数の結果が満足のいくものでなければパラメータの更新は継続されます。よって同じデータを投入しても学習自体は進むことになります。※ これ！
４．むしろ、n回目の学習時のデータとn+1回目のデータの分布構造が異なっているほうが大胆にパラメータを更新してくれたりするので、結果としていい感じに学習が進むことがある
５．データに不均衡があるような場合、、、、
どれも金科玉条です！
全部丸ごと覚えたいですね。
0
意味があるかどうかは目的次第かと思います。例えd_train[[0,1,2,3,4,5,6]]を使ってd_train[[7]]だけにfitさせたいと言うであれば、載せていただいたコードはその目的にかなっています。ただ、これだと（仮にどりたも複数のデータセットだとしても）全てのデータを計算してから重みが一回だけ更新されるので、学習効率が悪いことが知られています。
ですので、普通は入力train_Xと出力train_Yを小さなまとまり（バッチ、と呼ばれます）に分割して、小さなステップでNNを最適化します。これは確率的勾配法と呼ばれます。その場合は例えばmkgreiさんが提示してくれたコードのようにfeed_dictに食わせるデータを変えながらsess.runを呼び出して行きますよ。
投稿2018/02/21 03:57
編集2018/02/21 13:08退会済みユーザー
総合スコア0
丁寧なご解説有難う御座います。
バッチ化（いや、「ミニバッチ化」）の意義ですね、良く分かりました！
誤植と思いますが「確率的購買法」⇨「確率的勾配法」でしょう。
この場合の「確率的」とは何を指しているのでしょうか。
確率的・・・というより、当てずっぽう、くらいに捉えていいと思います。このあたりの記事を見てもらうほうがよさそうです。私の説明では、確率的勾配降下法とミニバッチ勾配降下法を間違えておりました。 http://postd.cc/optimizing-gradient-descent/
**これだと（仮にどりたも複数のデータセットだとしても）全てのデータを計算してから重みが一回だけ更新されるので、学習効率が悪いことが知られています。 ** ポイント！
http://postd.cc/optimizing-gradient-descent/
わ～！ このリンクは凄い、、、じっくり勉強したいと思います。
dkato0077さん 本当に有難うございます。
0
https://teratail.com/help
コードの入力の仕方が書いてあります。
例示しているコードでは変わっていません。
https://www.tensorflow.org/versions/r1.1/get_started/mnist/beginners
チュートリアルでも同様のコードがあります。
python
1for _ in range(1000): 2 batch_xs, batch_ys = mnist.train.next_batch(100) 3 sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
for文が回るたびにバッチの中身を変更していたりします。
投稿2018/02/21 03:10
総合スコア8560
https://teratail.com/help 色々ありますね 有難うございます。
https://www.tensorflow.org/versions/r1.1/get_started/mnist/beginners 貴重なリンクで質問以外の事も沢山勉強できます。心より感謝致します。「例示しているコードでは変わっていません。」そうですか。
ごめんなさい！念のために
「例示しているコードでは変わっていません。」とはfor ループの
訓練データがずーと更新せずにループを続けられたということですね。
おっしゃるとおりです。
訓練データ（教師データ）が順番含めて全く同じです。
モデルの中のパラメータだけが変化しています。
本当に有難うございました！
あなたの回答
tips
プレビュー
