質問編集履歴
3
説明追加
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -1,4 +1,4 @@
|
|
|
1
|
-
tensorflowで以下のようなニューラルネット(Domain adversarial neuralnetwork)を組んで学習させていたのですが，feature extractorと書いてある部分のLSTM層のところにdropout（tf.nn.dropout）を挟んだところ，学習が進まなくなってしまいました。(labelの二値分類が0.5の精度からほとんど動かない)
|
|
1
|
+
tensorflowで以下のようなニューラルネット(Domain adversarial neuralnetwork)を組んで学習させていたのですが，feature extractorと書いてある部分のLSTM層のところにdropout（tf.nn.dropout）を挟んだところ，学習が進まなくなってしまいました。(labelの二値分類が0.5の精度からほとんど動かない。dropout挟む前は普通に学習できていた)
|
|
2
2
|
|
|
3
3
|
dropout層の後の出力を可視化してみてみたのですが，dropoutに入力する前の値と変化がありませんでした。。
|
|
4
4
|
|
2
コード修正
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -25,9 +25,8 @@
|
|
|
25
25
|
lstm_out_2,states_op = tf.nn.dynamic_rnn(lstm_2,lstm_out_1_drop,dtype=tf.float32,time_major=False)
|
|
26
26
|
lstm_out_2_drop = tf.nn.dropout(lstm_out_2, 0.5)##ここ
|
|
27
27
|
lstm_out_3,states_op = tf.nn.dynamic_rnn(lstm_3,lstm_out_2_drop,dtype=tf.float32,time_major=False)
|
|
28
|
-
lstm_out_3_drop = tf.nn.dropout(lstm_out_3, 0.5)##ここ
|
|
29
28
|
|
|
30
|
-
lstm_out_last =
|
|
29
|
+
lstm_out_last = lstm_out_3[:,-1,:]
|
|
31
30
|
|
|
32
31
|
W11 = weight_variable([15, 15])
|
|
33
32
|
b11 = bias_variable([15])
|
1
コード間違い修正
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -11,7 +11,6 @@
|
|
|
11
11
|
Y_ind = tf.placeholder(tf.int32, [None], name='Y_ind') # Class index
|
|
12
12
|
D_ind = tf.placeholder(tf.int32, [None], name='D_ind') # Domain index
|
|
13
13
|
l = tf.placeholder(tf.float32, [], name='l') # Gradient reversal scaler
|
|
14
|
-
train_aria = tf.placeholder(tf.string, [], name='train_aria') #alltrain or only domainclassifier train
|
|
15
14
|
|
|
16
15
|
Y = tf.one_hot(Y_ind, 2)
|
|
17
16
|
D = tf.one_hot(D_ind, 3)
|