GradientDescentOptimizer の引数の意味

Question

GradientDescentOptimizer の引数の意味がわかりません。

def xxx(train_X, train_y, test_X):

    train_X = tf.placeholder(tf.float32,[None,784])

    train_y = tf.placeholder(tf.float32,[None,784])

    W = tf.Variable(tf.zeros([784,10]))

    b = tf.Variable(tf.zeros([10]))

    y = tf.nn.softmax(tf.matmul(train_X, train_y,W)+b)

  pred_y = tf.placeholder(tf.float32,[None,10])

    cross_entropy = -tf.reduce_sum(pred_y*tf.log(y))

    train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

    init = tf.initialize_all_variables()

    correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))

    accuracy = tf.reduce_mean(tf.cast(correct_prediction,"foat"))

    return pred_y

と書いてMNISTを読み込んで推測する準備をするコードを書きました。
しかし、

    train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

と書いた部分の

GradientDescentOptimizer(0.01)

のメソッドの引数（ここでは0.01）の意味が分かりません。
ほかのキータの記事等で上がっているコードでは0.01だったり0.1だったりしていて....。Tensorflowのドキュメントを見たのですが書いておらず...。
GradientDescentOptimizer の引数の意味は何なのでしょうか？

Answer 1

GradientDescentOptimizerの学習率、(learning rate)です。

あなたの他の質問を見ましたが、こういう場合は引数の値を変えてみて、どう変化するかをみればよいかと。

初めてのTensorFlow - イントロダクションとしての線形回帰

Decaying the learning rate

Comments

[退会済みユーザー]

ありがとうございます。張ってくださったurlや検索で学習率を調べてみたのですが、その意味がよくわからず...。学習率とは、重みのパラメータを学習していく中で更新していくワケですが、その更新の幅を指しているようです。
1より小さくするのが普通らしい。
http://takeda-san.hatenablog.com/entry/2017/02/14/230951
ということなのですが、それが確率的勾配降下法とどのように関係があるのでしょうか？