質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python 2.7

Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

Q&A

解決済

1回答

266閲覧

重みの初期化について

yone_yone

総合スコア28

Python 2.7

Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

0グッド

0クリップ

投稿2018/07/18 07:26

重みの初期化について様々なものをしようと思っているのですが、1つうまくいかないものがありましたので、質問させていただきます。

現在、重みを-2.0から2.0の範囲の乱数としているのですが、こちらをHeの初期値にしようと考えています。

こちらが現在使っているコードの重みの初期化の部分となります。

python

1with tf.Session() as sess: 2 # Set up all the tensors, variables, and operations. 3 input = tf.constant(bias_with_x) 4 target = tf.constant(np.transpose([y_train]).astype(np.float32)) 5 weights = tf.Variable(tf.random_uniform([num_input+1, num_hidden1], minval=-2.0, maxval=2.0, seed=seed)) 6 bias = tf.Variable(tf.random_uniform([num_hidden1], minval=-2.0, maxval=2.0, seed=seed)) 7 weights1 = tf.Variable(tf.random_uniform([num_hidden1, num_hidden2], minval=-2.0, maxval=2.0, seed=seed)) 8 bias1 = tf.Variable(tf.random_uniform([num_hidden2], minval=-2.0, maxval=2.0, seed=seed)) 9 weights2 = tf.Variable(tf.random_uniform([num_hidden2, 1], minval=-2.0, maxval=2.0, seed=seed)) 10 bias2 = tf.Variable(tf.random_uniform([1], minval=-2.0, maxval=2.0, seed=seed)) 11 tf.global_variables_initializer().run()

以下がやりたいことであるHeの初期化になります。

python

1# shape = 初期化するウェイトの次元として、4次元のCNNの場合は下記 2 3n = shape[0] * shape[1] * shape[2] 4stddev = math.sqrt(2.0 / n) 5initial = tf.truncated_normal(shape=shape, stddev=stddev) 6weight = tf.Variable(initial, name=name) 7

この'n'やら'shape'などの意味が正直あまりわからずに、どのように挿入したら良いかわからなくなっています。
ご回答いただけると助かります。

※ご回答いただいた内容に質問させていただくこともあるかと思いますので、
※よろしければご返信いただければと思います。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

2x3の行列を考えると
shape:(2,3)
n:6
となります。

2x3x4のテンソルを考えると
shape:(2,3,4)
n:24
になります。

weights = tf.Variable(tf.random_uniform([num_input+1, num_hidden1], minval=-2.0, maxval=2.0, seed=seed))

shape = [num_input+1, num_hidden1] n = shape[0] * shape[1] stddev = math.sqrt(2.0 / n) initial = tf.truncated_normal(shape=shape, stddev=stddev, seed=seed) weights = tf.Variable(initial, name=name)

では?

https://www.tensorflow.org/api_docs/python/tf/truncated_normal

投稿2018/07/18 10:56

mkgrei

総合スコア8560

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

yone_yone

2018/07/19 02:15

わかりやすい回答ありがとうございます。 こちらのコードを使って試してみようと思います。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問