質問編集履歴
3
spell訂正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -56,7 +56,7 @@
|
|
|
56
56
|
|
|
57
57
|
back propagation段階ではもう消えているはずです。**
|
|
58
58
|
|
|
59
|
-
なので、各la
|
|
59
|
+
なので、各layerのweight値に対する最適化のデータ実体が存在しないように感じます。
|
|
60
60
|
|
|
61
61
|
さて、tensorflowは何を根拠にして、NNの各layerのパラメータarrayを生成し、実体を確保したのでしょうか。これこそ自分にとって一番不思議な処です。
|
|
62
62
|
|
2
追加説明
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -52,6 +52,14 @@
|
|
|
52
52
|
|
|
53
53
|
for文で各layerの計算を行い、tf.sigmoid(...)に渡したのはself.W_listの断片的なコピー値しかないのです。
|
|
54
54
|
|
|
55
|
+
因みに、**このweightは各layerが共用する変数で、訓練のforward過程において利用できますが、
|
|
56
|
+
|
|
57
|
+
back propagation段階ではもう消えているはずです。**
|
|
58
|
+
|
|
59
|
+
なので、各laterのweight値に対する最適化のデータ実体が存在しないように感じます。
|
|
60
|
+
|
|
55
|
-
さて、tensorflowは何を根拠にして、NNの各layerのパラメータarrayを生成し、実体を確保したのでしょうか。これ
|
|
61
|
+
さて、tensorflowは何を根拠にして、NNの各layerのパラメータarrayを生成し、実体を確保したのでしょうか。これこそ自分にとって一番不思議な処です。
|
|
62
|
+
|
|
63
|
+
|
|
56
64
|
|
|
57
65
|
★上記のような各layer変数(array)の実体がなければ、樹状グラフの形成という話もないでしょう？
|
1
追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -23,3 +23,35 @@
|
|
|
23
23
|
tf.trainは修飾子で、GradientDescentOptimizer(...)が外在的なメソッドに過ぎず、現在ネットの係数が含まれていないはず。
|
|
24
24
|
|
|
25
25
|
それでは何処でネット係数の更新が行われるのでしょうか。
|
|
26
|
+
|
|
27
|
+
|
|
28
|
+
|
|
29
|
+
**********NNのlayerの形成コードの典型な例***********
|
|
30
|
+
|
|
31
|
+
|
|
32
|
+
|
|
33
|
+
```python
|
|
34
|
+
|
|
35
|
+
last_layer = self.input_x
|
|
36
|
+
|
|
37
|
+
for weight,bias in zip(self.W_list,self.encoding_b_list):
|
|
38
|
+
|
|
39
|
+
hidden = tf.sigmoid(tf.matmul(last_layer,weight) + bias)
|
|
40
|
+
|
|
41
|
+
last_layer = hidden
|
|
42
|
+
|
|
43
|
+
|
|
44
|
+
|
|
45
|
+
self.hidden = hidden
|
|
46
|
+
|
|
47
|
+
|
|
48
|
+
|
|
49
|
+
```
|
|
50
|
+
|
|
51
|
+
weightはテンポラリー変数で各layer共用で、self.W_listの一部分のコピーです。
|
|
52
|
+
|
|
53
|
+
for文で各layerの計算を行い、tf.sigmoid(...)に渡したのはself.W_listの断片的なコピー値しかないのです。
|
|
54
|
+
|
|
55
|
+
さて、tensorflowは何を根拠にして、NNの各layerのパラメータarrayを生成し、実体を確保したのでしょうか。これは自分にとって一番不思議の処です。
|
|
56
|
+
|
|
57
|
+
★上記のような各layer変数(array)の実体がなければ、樹状グラフの形成という話もないでしょう？
|