keep_probの役割がわからない

Question

keep_probの役割がわからないです。

Tensorflowのチュートリアルをやっています。
https://www.tensorflow.org/get_started/mnist/beginners

for i in range(20000):
    batch = mnist.train.next_batch(50)
    if i%100 == 0:
        train_accuracy = accuracy.eval(feed_dict={x:batch[0],y_:batch[1],keep_prob:1.0})
        print("step %d, training accuracy %g"%(i,train_accuracy))
    train_step.run(feed_dict={x:batch[0],y_:batch[1],keep_prob:0.5})

というコードが出てきました。
その中で、keep_probという引数が出てきますが、この引数の役割はなんなのでしょうか？
調べたところ、学習率を指定するのがkeep_probの役割と出てきたのですが、学習率が１ということはあり得るのでしょうか？全部のデータを学習させると過学習してしまうのではとおもいます。

Answer 1

https://www.tensorflow.org/api_docs/python/tf/nn/dropout
dropout層の引数です。

学習時は適宜設定した値、今の場合0.5が使われています。

評価時はランダムに構造を変更するびっくりボックスがほしくないので、すべての重みを使うため1.0が設定されています。

学習率ではありません。

Comments

[退会済みユーザー]

ありがとうございます。keep_prob:0.5と書くと従来のdropout層の５割が使われるということでしょうか？またその場合、５割の重みを使って学習するということでしょうか？
ちなみに、keep_probを指定しなければ評価時はランダムに構造を変更するものができるということでしょうか？

[mkgrei]

dropout層はフィルタのような役割です。
https://deepage.net/deep_learning/2016/10/17/deeplearning_dropout.html
http://s0sem0y.hatenablog.com/entry/2017/05/25/081912
https://stats.stackexchange.com/questions/205292/difference-between-dropout-and-neurons-with-0-weights
一時的にランダムに一部の重みをゼロにします。
0.5なら計算するたびにランダムに選ばれた半分の重みがゼロになります。

keep_probをfeedしないとplaceholderが空になるので、エラーになると思います。

[mkgrei]

https://qiita.com/kazoo04/items/71b659ced9dc0342a2b0
Liquid State MachineがDropout層によって実装できるかどうかが興味あるところです。
このような目的ならば、学習時以外でもkeep_probを1にしないことが考えられます。