編集履歴

回答編集履歴

誤字の修正

2017/06/28 06:44

投稿

スコア0

test CHANGED Viewed

@@ -548,7 +548,7 @@
-前回のコードの変更点は第一に、入力する値を小さくしています(0.01倍)
+前回のコードとの変更点は第一に、入力する値を小さくしています(0.01倍)
 シグモイド関数に値を通しても、数値大小が変わる事はありません

実験の追記

2017/06/28 06:44

投稿

退会済みユーザー

スコア0

test CHANGED Viewed

@@ -292,30 +292,328 @@
-その他、重みをランダムに変える。loss関数の修正を行っています。
-ただ正解率は上がりません
-ここからはあくまでも直感の話になりますが、恐らくこの問題に適応しようとした時、パラメーターが均一に勾配下降していき、その結果正答率が50%に収束していくのでは、と考えます。
-二番目と四番目の値が同じ数字である時は、
-出力層の一番目を大きくするようにパラメーターが変動します。
-(二番目の値は小さくしようとする)
-それに対して、二番目と四番目が違う数字である時は、出力層の二番目が大きくなるようにパラメーターを変動させます。(一番目の値は小さくしようとする。)
-そうすると訓練データをランダムに与え続けると、互いが反発しあって、結果的に、出力層の一番目と二播目の両方の値が均一になる調整が行われて、この問題に対応出来なくなっているんじゃないかなあと
-つまり問題設定そのものが正解率があがらない原因かなと考えます
+追記
+ちょっとした実験をしてみました
+```python
+import tensorflow as tf
+import numpy as np
+from dataset.mnist import load_mnist
+訓練データ = []
+正解ラベル = []
+"""任意の比率で訓練データを作成する。
+   引数で100の内、正解ラベル[1,0]の訓練データを何個作るかを決める"""
+def 訓練_正解データ(value):
+    訓練データ = []
+    正解ラベル = []
+    for i in range(value):
+        x = np.random.randint(1, 3) * 0.01
+        入力値 = [
+        np.random.randint(18, 81) * 0.01,
+        x,
+        np.random.randint(18, 81) * 0.01,
+        x,
+        ]
+        正解値 = [1, 0]
+        訓練データ.append(入力値)
+        正解ラベル.append(正解値)
+        #ここから残りの2割の訓練データを埋める
+        if  i == value - 1:
+            while len(訓練データ) < 100:
+                x = np.random.randint(1, 3) * 0.01
+                y = np.random.randint(1, 3) * 0.01
+                if x == y:
+                    continue
+                入力値 = [
+                np.random.randint(18, 81) * 0.01,
+                x,
+                np.random.randint(18, 81) * 0.01,
+                y,
+                ]
+                正解値 = [0, 1]
+                訓練データ.append(入力値)
+                正解ラベル.append(正解値)
+                """念の為シャッフルする"""
+                シード値 = np.random.randint(0,1000)
+                np.random.seed(シード値)
+                np.random.shuffle(訓練データ)
+                np.random.seed(シード値)
+                np.random.shuffle(正解ラベル)
+    return [訓練データ, 正解ラベル]
+print(訓練_正解データ(100))
+"""パラメーターの作成をする"""
+入力数 = 4
+中間数 = 100
+出力数 = 2
+入力ホルダ = tf.placeholder(tf.float32, [None, 入力数])
+正解ホルダ = tf.placeholder(tf.float32, [None, 出力数])
+キープ率 = tf.placeholder(tf.float32)
+重み1 = tf.Variable(tf.truncated_normal([入力数, 中間数],
+                                        stddev=tf.sqrt(2.0 /入力数)))
+バイアス1 = tf.Variable(tf.truncated_normal([中間数],
+                                             stddev=0.1))
+重み2 = tf.Variable(tf.truncated_normal([中間数, 出力数],
+                                         stddev=tf.sqrt(2.0 / 中間数)))
+バイアス2 = tf.Variable(tf.truncated_normal([出力数],
+                                             stddev=0.1))
+"""伝達処理をする"""
+一層目 = tf.matmul(入力ホルダ, 重み1) + バイアス1
+活性化1 = tf.nn.relu(一層目)
+ドロップアウト1 = tf.nn.dropout(活性化1, キープ率)
+二層目 = tf.matmul(ドロップアウト1, 重み2) + バイアス2
+出力層 = tf.nn.sigmoid(二層目)
+"""欠損関数を作成する。
+   欠損値がnanにならないようにtf.clip_by_valueで対策する"""
+欠損値バッチ = -tf.reduce_sum(正解ホルダ * tf.log(tf.clip_by_value(
+                                                  出力層, 1e-10, 1.0),
+                                                  ),axis=1)
+交差エントロピー = tf.reduce_mean(欠損値バッチ)
+"""正解率の作成"""
+真理値判定 = tf.equal(tf.argmax(出力層, 1), tf.argmax(正解ホルダ, 1))
+正解率 = tf.reduce_mean(tf.cast(真理値判定, tf.float32))
+"""確率的勾配下降の作成"""
+勾配下降 = tf.train.GradientDescentOptimizer(0.01).minimize(交差エントロピー)
+with tf.Session() as セッション:
+    セッション.run(tf.global_variables_initializer())
+    for i in range(10000):
+        #学習させる比率を決める
+        n, m = 訓練_正解データ(30)
+        セッション.run(勾配下降, feed_dict={
+                       入力ホルダ:n,正解ホルダ:m,キープ率:1.0})
+        if i % 100 == 0:
+            #テストデータの比率を決める
+            testn, testm = 訓練_正解データ(90)
+            out, sigmoid = セッション.run([二層目, 出力層], feed_dict={
+                                     入力ホルダ:n,正解ホルダ:m,
+                                     キープ率:1.0})
+            print(out)
+            print(sigmoid)
+            テスト = セッション.run(正解率, feed_dict={
+                                    入力ホルダ:testn,正解ホルダ:testm,
+                                    キープ率:1.0})
+            print(テスト)
+```
+前回のコードの変更点は第一に、入力する値を小さくしています(0.01倍)
+シグモイド関数に値を通しても、数値大小が変わる事はありません
+しかし一定の数値を超えると、数値の大小に限らず1を返すようです。
+当然そうなれば正常な判断が出来ません
+試しに0.01倍を外してみるとわかると思います
+画像を学習させる時も、普通は、その配列の中で最も大きい値で割る、平均の値で全ての配列を割るなどして値を小さくしますので、今回もそれに乗っ取ります
+過学習対策のドロップアウト層も組み込んでいます。
+一言で言えば、訓練データをニューラルネットに丸暗記をさせてはいけないのですが、一定確率でランダムなユニットを除去する事で、1ループだけ学習を停滞させ、丸暗記を防いでいます
+ただし今回の場合は、特に効果は見られなかったので、キープ率は1.0のそのままにしてあります
+そして実験用に、正解ラベルが[1,0]か[0,1]かを任意の比率で生成できる関数を作ってみました
+自分の推測では、[1,0]が正解ラベルの時は出力層の一層目の値が大きくなるように変動し、
+[0,1]が正解ラベルの時は出力層の二層目の値が大きくなるように変動するというものでした
+比率を決める事で、本当にそうなるのかを確かめてみます
+ではまず、上に張り付けたコードを実行してみてください。
+このコードでは訓練データを3:7([1,0] ,[0,1])の比率で与えてみます
+コードで言うとn, m = 訓練_正解データ(30)
+テストデータは9:1の割合で与えます
+testn, testm = 訓練_正解データ(90)
+今回の場合ですと、自分の推測通りであれば、訓練データに[0,1]のデータを多く与えているわけですから二層目の値が大きくなるように学習をします
+その結果テストデータで与える[1,0]が正解ラベルのデータに関しては全て不正解になるはずです
+つまり9:1の割合でテストデータを与えると正解率は1割と推測できます
+実際に実行してみると正解率が0.1になるのがわかると思います。
+その他与える比率を変えてみてください
+比率が傾いた方に出力層が大きくなり、そうでない方のテストデータは全て不正解になるはずです
+また訓練、テストともに5:5で与えると多少のばらつきはあるものの50%に収束していきます
+この実装が間違っていない限りは、真理値判定でも出来ない限りは、これに対応できる関数を作るのは難しく
+、収束していった結果がこの正解率なのが伺えると思います

実験の追記

2017/06/28 06:40

投稿

退会済みユーザー

スコア0

test CHANGED Viewed

File without changes

実験結果の追記

2017/06/28 06:38

投稿

退会済みユーザー

スコア0

test CHANGED Viewed

File without changes