常連

### 質問内容
機械学習の学習精度が上がらず困っています.

実験環境は以下の通りです.

- モデル構造やその他関数：[こちら](https://cpp-learning.com/siamese-network/)を参考にしました（ベースネットワークはCNNに変更↓）.
- 入力画像サイズ：128×64（縦×横）
- 訓練データ数：約90万ペアの画像(MNISTではない)を使用.
- 検証用データ数：約6万ペア
- バッチサイズ：32
- エポック：100


変更したCNNのモデル構造です.
```python
    model = models.Sequential()

    weight_decay = 1e-4

    model.add(
        layers.Conv2D(
            filters=64,              
            kernel_size=(3, 3),     
            input_shape=(height, width, 1),
            padding='same',          
            kernel_regularizer=regularizers.l2(
                weight_decay),      
            activation='relu'       
        ))


    model.add(
        layers.Conv2D(
            filters=32,             
            kernel_size=(3, 3),     
            padding='same',          
            kernel_regularizer=regularizers.l2(
                weight_decay),       
            activation='relu'        
        ))


    model.add(
        layers.MaxPooling2D(
            pool_size=(2, 2)))       


    model.add(
        layers.Conv2D(
            filters=16,              
            kernel_size=(3, 3),      
            padding='same',          
            kernel_regularizer=regularizers.l2(
                weight_decay),       
            activation='relu'      
        ))


    model.add(
        layers.MaxPooling2D(
            pool_size=(2, 2)))       


    model.add(layers.Dropout(0.4))


    model.add(layers.Flatten())


    model.add(
        layers.Dense(
            128,                     
            activation='relu'))   

```

------------------------
次に示すものが，60エポックまでを実行した結果になります.
まだ，100エポックまでは学習できていないのですが，明らかにおかしな結果となっているため質問させていただきます.


```
Epoch 1/100
28203/28203 [==============================] - 909s 32ms/step - loss: 0.0054 - accuracy: 0.9973 - val_loss: 0.0869 - val_accuracy: 0.8809
Epoch 2/100
28203/28203 [==============================] - 927s 33ms/step - loss: 0.0055 - accuracy: 0.9967 - val_loss: 0.0871 - val_accuracy: 0.8823
Epoch 3/100
28203/28203 [==============================] - 934s 33ms/step - loss: 0.0080 - accuracy: 0.9928 - val_loss: 0.0870 - val_accuracy: 0.8823
Epoch 4/100
28203/28203 [==============================] - 931s 33ms/step - loss: 0.0088 - accuracy: 0.9916 - val_loss: 0.0859 - val_accuracy: 0.8820
Epoch 5/100
28203/28203 [==============================] - 922s 33ms/step - loss: 0.0127 - accuracy: 0.9859 - val_loss: 0.0850 - val_accuracy: 0.8806
Epoch 6/100
28203/28203 [==============================] - 915s 32ms/step - loss: 0.0176 - accuracy: 0.9788 - val_loss: 0.0805 - val_accuracy: 0.8817
Epoch 7/100
28203/28203 [==============================] - 922s 33ms/step - loss: 0.0178 - accuracy: 0.9785 - val_loss: 0.0773 - val_accuracy: 0.8798
Epoch 8/100
28203/28203 [==============================] - 934s 33ms/step - loss: 0.0221 - accuracy: 0.9745 - val_loss: 0.0685 - val_accuracy: 0.8861
Epoch 9/100
28203/28203 [==============================] - 909s 32ms/step - loss: 0.0317 - accuracy: 0.9674 - val_loss: 0.0496 - val_accuracy: 0.9331
Epoch 10/100
28203/28203 [==============================] - 916s 32ms/step - loss: 0.0462 - accuracy: 0.9602 - val_loss: 0.6956 - val_accuracy: 0.0393
Epoch 11/100
28203/28203 [==============================] - 932s 33ms/step - loss: 0.0543 - accuracy: 0.9574 - val_loss: 0.9462 - val_accuracy: 0.0393
Epoch 12/100
28203/28203 [==============================] - 915s 32ms/step - loss: 0.0479 - accuracy: 0.9583 - val_loss: 0.9610 - val_accuracy: 0.0393
Epoch 13/100
28203/28203 [==============================] - 920s 33ms/step - loss: 0.0467 - accuracy: 0.9588 - val_loss: 0.9506 - val_accuracy: 0.0393
Epoch 14/100
28203/28203 [==============================] - 920s 33ms/step - loss: 0.0456 - accuracy: 0.9590 - val_loss: 0.9570 - val_accuracy: 0.0393
Epoch 15/100
28203/28203 [==============================] - 944s 33ms/step - loss: 0.0457 - accuracy: 0.9590 - val_loss: 0.9527 - val_accuracy: 0.0393
Epoch 16/100
28203/28203 [==============================] - 920s 33ms/step - loss: 0.0456 - accuracy: 0.9587 - val_loss: 0.9543 - val_accuracy: 0.0393
Epoch 17/100
28203/28203 [==============================] - 903s 32ms/step - loss: 0.0450 - accuracy: 0.9588 - val_loss: 0.9430 - val_accuracy: 0.0393
Epoch 18/100
28203/28203 [==============================] - 934s 33ms/step - loss: 0.0449 - accuracy: 0.9585 - val_loss: 0.9051 - val_accuracy: 0.0393
Epoch 19/100
28203/28203 [==============================] - 934s 33ms/step - loss: 0.0457 - accuracy: 0.9575 - val_loss: 0.9381 - val_accuracy: 0.0393
Epoch 20/100
28203/28203 [==============================] - 911s 32ms/step - loss: 0.0465 - accuracy: 0.9566 - val_loss: 0.9509 - val_accuracy: 0.0393
Epoch 21/100
28203/28203 [==============================] - 933s 33ms/step - loss: 0.0465 - accuracy: 0.9564 - val_loss: 0.9289 - val_accuracy: 0.0393
Epoch 22/100
28203/28203 [==============================] - 934s 33ms/step - loss: 0.0458 - accuracy: 0.9575 - val_loss: 0.9283 - val_accuracy: 0.0393
Epoch 23/100
28203/28203 [==============================] - 915s 32ms/step - loss: 0.0452 - accuracy: 0.9576 - val_loss: 0.9506 - val_accuracy: 0.0393
Epoch 24/100
28203/28203 [==============================] - 904s 32ms/step - loss: 0.0455 - accuracy: 0.9578 - val_loss: 0.9145 - val_accuracy: 0.0393
Epoch 25/100
28203/28203 [==============================] - 933s 33ms/step - loss: 0.0455 - accuracy: 0.9576 - val_loss: 0.9443 - val_accuracy: 0.0393
Epoch 26/100
28203/28203 [==============================] - 923s 33ms/step - loss: 0.0455 - accuracy: 0.9577 - val_loss: 0.9385 - val_accuracy: 0.0393
Epoch 27/100
28203/28203 [==============================] - 934s 33ms/step - loss: 0.0455 - accuracy: 0.9574 - val_loss: 0.9581 - val_accuracy: 0.0393
Epoch 28/100
28203/28203 [==============================] - 906s 32ms/step - loss: 0.0457 - accuracy: 0.9571 - val_loss: 0.9508 - val_accuracy: 0.0393
Epoch 29/100
28203/28203 [==============================] - 933s 33ms/step - loss: 0.0459 - accuracy: 0.9563 - val_loss: 0.8768 - val_accuracy: 0.0393
Epoch 30/100
28203/28203 [==============================] - 915s 32ms/step - loss: 0.0455 - accuracy: 0.9565 - val_loss: 0.9283 - val_accuracy: 0.0393
Epoch 31/100
28203/28203 [==============================] - 918s 33ms/step - loss: 0.0452 - accuracy: 0.9571 - val_loss: 0.9602 - val_accuracy: 0.0393
Epoch 32/100
28203/28203 [==============================] - 919s 33ms/step - loss: 0.0461 - accuracy: 0.9569 - val_loss: 0.9412 - val_accuracy: 0.0393
Epoch 33/100
28203/28203 [==============================] - 933s 33ms/step - loss: 0.0465 - accuracy: 0.9565 - val_loss: 0.9512 - val_accuracy: 0.0393
Epoch 34/100
28203/28203 [==============================] - 925s 33ms/step - loss: 0.0471 - accuracy: 0.9563 - val_loss: 0.9471 - val_accuracy: 0.0393
Epoch 35/100
28203/28203 [==============================] - 933s 33ms/step - loss: 0.0464 - accuracy: 0.9562 - val_loss: 0.9475 - val_accuracy: 0.0393
Epoch 36/100
28203/28203 [==============================] - 915s 32ms/step - loss: 0.0464 - accuracy: 0.9567 - val_loss: 0.8290 - val_accuracy: 0.0385
Epoch 37/100
28203/28203 [==============================] - 932s 33ms/step - loss: 0.0462 - accuracy: 0.9568 - val_loss: 0.9415 - val_accuracy: 0.0393
Epoch 38/100
28203/28203 [==============================] - 923s 33ms/step - loss: 0.0463 - accuracy: 0.9568 - val_loss: 0.9611 - val_accuracy: 0.0385
Epoch 39/100
28203/28203 [==============================] - 919s 33ms/step - loss: 0.0468 - accuracy: 0.9565 - val_loss: 0.9611 - val_accuracy: 0.0393
Epoch 40/100
28203/28203 [==============================] - 923s 33ms/step - loss: 0.0479 - accuracy: 0.9571 - val_loss: 0.9608 - val_accuracy: 0.0393
Epoch 41/100
28203/28203 [==============================] - 924s 33ms/step - loss: 0.5128 - accuracy: 0.4930 - val_loss: 0.9604 - val_accuracy: 0.0393
Epoch 42/100
28203/28203 [==============================] - 921s 33ms/step - loss: 0.9586 - accuracy: 0.0410 - val_loss: 0.9604 - val_accuracy: 0.0393
Epoch 43/100
28203/28203 [==============================] - 922s 33ms/step - loss: 0.9586 - accuracy: 0.0410 - val_loss: 0.9604 - val_accuracy: 0.0393
Epoch 44/100
28203/28203 [==============================] - 939s 33ms/step - loss: 0.9586 - accuracy: 0.0410 - val_loss: 0.9604 - val_accuracy: 0.0393

（同じ結果なので省略）

Epoch 58/100
28203/28203 [==============================] - 932s 33ms/step - loss: 0.9586 - accuracy: 0.0410 - val_loss: 0.9604 - val_accuracy: 0.0393
Epoch 59/100
28203/28203 [==============================] - 922s 33ms/step - loss: 0.9586 - accuracy: 0.0410 - val_loss: 0.9604 - val_accuracy: 0.0393
Epoch 60/100
28203/28203 [==============================] - 915s 32ms/step - loss: 0.9586 - accuracy: 0.0410 - val_loss: 0.9604 - val_accuracy: 0.0393
```
9エポックまではlossとval_lossは比較的低い値なのですが，10エポック以降では急激にval_lossが大きな値をとり，41エポック以降はlossも大きな値をとるようになってしまっています.正解率も途中まではよかったのですが，いきなり0付近の値になってしまいます.

これは何が原因で起こってしまっている問題なのでしょうか.
また，何をどのように改善するとよいのかご教授いただければ幸いです.

### 補足情報（FW/ツールのバージョンなど）
ubuntu　20.04
Python　3.8.10

tensorflow-gpu　2.5.3
keras　2.8.0
numpy　1.19.5

jupyter lab　2.3.2

---
##### 追記1
バッチサイズを128に増やした結果です.

![バッチサイズ：128](https://ddjkaamml8q8x.cloudfront.net/questions/2022-07-07/fc52458c-9181-4d1e-a0ba-15c08308bb77.jpeg)

---
##### 追記2
バッチサイズを32にした結果です.
データ数は約7万にし，同じクラス・違うクラスでほぼ同じ割合でペアを作成しています.

![バッチサイズ：32,  データ数：約7万](https://ddjkaamml8q8x.cloudfront.net/questions/2022-07-10/38455d95-10ce-4290-926b-2dbf6994ca8c.png)

機械学習でlossが急に上がる原因

こちらのブログを参考にしてTensorFlowを用いた顔認識のプログラムを作成しています。
『[ディープラーニングでザッカーバーグの顔を識別するAIを作る③（データ学習編）](https://qiita.com/AkiyoshiOkano/items/9d49570b19e8a397e9b4)』

学習データを生成するmain.pyを実行したのですが、accuracyの値が少しも変動しません。

```ここに言語を入力
step 0, training accuracy 0.102362
step 1, training accuracy 0.102362
step 2, training accuracy 0.102362
step 3, training accuracy 0.102362
step 4, training accuracy 0.102362
step 5, training accuracy 0.102362
…
step 46, training accuracy 0.102362
step 47, training accuracy 0.102362
step 48, training accuracy 0.102362
step 49, training accuracy 0.102362
test accuracy 0.101773
```
各クラスの学習画像の枚数は
クラス1 623枚
クラス2 3376枚
クラス3 2096枚
になります。

解決方法を教えていただきたいです。
よろしくお願いします。

python3系、tensorflow (1.4.1)になります。

以下コード全文です。。

```python
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import sys
import cv2
import random
import numpy as np
import tensorflow as tf
import tensorflow.python.platform

# 識別ラベルの数（分類フォルダの個数）
NUM_CLASSES = 3
# 画像サイズの１辺
IMAGE_SIZE = 28
# サイズ×サイズ×色（RGB）=3
IMAGE_PIXELS = IMAGE_SIZE*IMAGE_SIZE*3

# 学習に必要なデータのpathや学習の規模を設定
# パラメタの設定、デフォルト値やヘルプ画面の説明文を登録できるTensorFlow組み込み関数
flags = tf.app.flags
FLAGS = flags.FLAGS
# 学習用データ
flags.DEFINE_string('train', './train.txt', 'File name of train data')
# 検証用テストデータ
flags.DEFINE_string('test', './test.txt', 'File name of train data')
# データを置いてあるフォルダ
flags.DEFINE_string('train_dir', './images', 'Directory to put the training data.')
# データ学習訓練の試行回数
flags.DEFINE_integer('max_steps', 50, 'Number of steps to run trainer.')
# 1回の学習で何枚の画像を使うか
flags.DEFINE_integer('batch_size', 20, 'Batch size Must divide evenly into the dataset sizes.')
# 学習率、小さすぎると学習が進まないし、大きすぎても誤差が収束しなかったり発散したりしてダメとか
flags.DEFINE_float('learning_rate', 1e-4, 'Initial learning rate.')

sess = tf.Session(config=tf.ConfigProto(allow_soft_placement=True, log_device_placement=True))

# AIの学習モデル部分(ニューラルネットワーク)を作成する
# images_placeholder: 画像のplaceholder, keep_prob: dropout率のplace_holderが引数になり
# 入力画像に対して、各ラベルの確率を出力して返す
def inference(images_placeholder, keep_prob):

  # 重みを標準偏差0.1の正規分布で初期化する
  def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

  # バイアスを標準偏差0.1の正規分布で初期化する
  def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

  # 畳み込み層を作成する
  def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

  # プーリング層を作成する
  def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
                          strides=[1, 2, 2, 1], padding='SAME')

  # ベクトル形式で入力されてきた画像データを28px * 28pxの画像に戻す(?)。
  # 今回はカラー画像なので3(モノクロだと1)
  x_image = tf.reshape(images_placeholder, [-1, IMAGE_SIZE, IMAGE_SIZE, 3])

  # 畳み込み層第1レイヤーを作成
  with tf.name_scope('conv1') as scope:
    # 引数は[width, height, input, filters]。
    # 5px*5pxの範囲で画像をフィルターしている。今回はカラー画像なのでinputは3?
    # 32個の特徴を検出する
    W_conv1 = weight_variable([5, 5, 3, 32])
    # バイアスの数値を代入
    b_conv1 = bias_variable([32])
    # 特徴として検出した有用そうな部分は残し、特徴として使えなさそうな部分は
    # 0として、特徴として扱わないようにしているという理解(Relu関数)
    h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)

  # プーリング層1の作成
  # 2*2の枠を作り、その枠内の特徴を1*1分にいい感じに圧縮させている。
  # その枠を2*2ずつスライドさせて画像全体に対して圧縮作業を適用するという理解
  # ざっくり理解で細分化された特徴たちをもうちょっといい感じに大まかにまとめる(圧縮する)
  with tf.name_scope('pool1') as scope:
    h_pool1 = max_pool_2x2(h_conv1)

  # 畳み込み層第2レイヤーの作成
  with tf.name_scope('conv2') as scope:
    # 第一レイヤーでの出力を第2レイヤー入力にしてもう一度フィルタリング実施。
    # 64個の特徴を検出する。inputが32なのはなんで?(教えて欲しい)
    W_conv2 = weight_variable([5, 5, 32, 64])
    # バイアスの数値を代入(第一レイヤーと同じ)
    b_conv2 = bias_variable([64])
    # 検出した特徴の整理(第一レイヤーと同じ)
    h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)

  # プーリング層2の作成(ブーリング層1と同じ)
  with tf.name_scope('pool2') as scope:
    h_pool2 = max_pool_2x2(h_conv2)

  # 全結合層1の作成
  with tf.name_scope('fc1') as scope:
    W_fc1 = weight_variable([7*7*64, 1024])
    b_fc1 = bias_variable([1024])
    # 画像の解析を結果をベクトルへ変換
    h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
    # 第一、第二と同じく、検出した特徴を活性化させている
    h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
    # dropoutの設定
    # 訓練用データだけに最適化して、実際にあまり使えないような
    # AIになってしまう「過学習」を防止の役割を果たすらしい
    h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

  # 全結合層2の作成(読み出しレイヤー)
  with tf.name_scope('fc2') as scope:
    W_fc2 = weight_variable([1024, NUM_CLASSES])
    b_fc2 = bias_variable([NUM_CLASSES])

  # ソフトマックス関数による正規化
  # ここまでのニューラルネットワークの出力を各ラベルの確率へ変換する
  with tf.name_scope('softmax') as scope:
    y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

  # 各ラベルの確率(のようなもの?)を返す
  return y_conv

# 予測結果と正解にどれくらい「誤差」があったかを算出する
# logitsは計算結果:  float - [batch_size, NUM_CLASSES]
# labelsは正解ラベル: int32 - [batch_size, NUM_CLASSES]
def loss(logits, labels):
  # 交差エントロピーの計算
  cross_entropy = -tf.reduce_sum(labels*tf.log(logits))
  # TensorBoardで表示するよう指定
  tf.summary.scalar("cross_entropy", cross_entropy)
  # 誤差の率の値(cross_entropy)を返す
  return cross_entropy

# 誤差(loss)を元に誤差逆伝播を用いて設計した学習モデルを訓練する
# 裏側何が起きているのかよくわかってないが、学習モデルの各層の重み(w)などを
# 誤差を元に最適化して調整しているという理解(?)
# (誤差逆伝播は「人工知能は人間を超えるか」書籍の説明が神)
def training(loss, learning_rate):
  #この関数がその当たりの全てをやってくれる様
  train_step = tf.train.AdamOptimizer(learning_rate).minimize(loss)
  return train_step

# inferenceで学習モデルが出した予測結果の正解率を算出する
def accuracy(logits, labels):
  # 予測ラベルと正解ラベルが等しいか比べる。同じ値であればTrueが返される
  # argmaxは配列の中で一番値の大きい箇所のindex(=一番正解だと思われるラベルの番号)を返す
  correct_prediction = tf.equal(tf.argmax(logits, 1), tf.argmax(labels, 1))
  # booleanのcorrect_predictionをfloatに直して正解率の算出
  # false:0,true:1に変換して計算する
  accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
  # TensorBoardで表示する様設定
  tf.summary.scalar("accuracy", accuracy)
  return accuracy

if __name__ == '__main__':
  # ファイルを開く
  f = open(FLAGS.train, 'r')
  # データを入れる配列
  train_image = []
  train_label = []
  for line in f:
    # 改行を除いてスペース区切りにする
    line = line.rstrip()
    l = line.split()
#    print ("aaaaa line[%s] %s %s"%(line,l[0],l[1]))
    # データを読み込んで28x28に縮小
    img = cv2.imread(l[0])
    img = cv2.resize(img, (IMAGE_SIZE, IMAGE_SIZE))
    # 一列にした後、0-1のfloat値にする
    train_image.append(img.flatten().astype(np.float32)/255.0)
    # ラベルを1-of-k方式で用意する
    tmp = np.zeros(NUM_CLASSES)
    tmp[int(l[1])] = 1
    train_label.append(tmp)
  # numpy形式に変換
  train_image = np.asarray(train_image)
  train_label = np.asarray(train_label)
  f.close()

  f = open(FLAGS.test, 'r')
  test_image = []
  test_label = []
  for line in f:
    line = line.rstrip()
    l = line.split()

    img = cv2.imread(l[0])
    img = cv2.resize(img, (IMAGE_SIZE, IMAGE_SIZE))
    test_image.append(img.flatten().astype(np.float32)/255.0)
    tmp = np.zeros(NUM_CLASSES)
    tmp[int(l[1])] = 1
    test_label.append(tmp)
  test_image = np.asarray(test_image)
  test_label = np.asarray(test_label)
  f.close()

  #TensorBoardのグラフに出力するスコープを指定
  with tf.Graph().as_default():
    # 画像を入れるためのTensor(28*28*3(IMAGE_PIXELS)次元の画像が任意の枚数(None)分はいる)
    images_placeholder = tf.placeholder("float", shape=(None, IMAGE_PIXELS))
    # ラベルを入れるためのTensor(3(NUM_CLASSES)次元のラベルが任意の枚数(None)分入る)
    labels_placeholder = tf.placeholder("float", shape=(None, NUM_CLASSES))
    # dropout率を入れる仮のTensor
    keep_prob = tf.placeholder("float")

    # inference()を呼び出してモデルを作る
    logits = inference(images_placeholder, keep_prob)
    # loss()を呼び出して損失を計算
    loss_value = loss(logits, labels_placeholder)
    # training()を呼び出して訓練して学習モデルのパラメーターを調整する
    train_op = training(loss_value, FLAGS.learning_rate)
    # 精度の計算
    acc = accuracy(logits, labels_placeholder)

    # 保存の準備
    saver = tf.train.Saver()
    # Sessionの作成(TensorFlowの計算は絶対Sessionの中でやらなきゃだめ)
    sess = tf.Session()
    # 変数の初期化(Sessionを開始したらまず初期化)
    sess.run(tf.global_variables_initializer())
    # TensorBoard表示の設定(TensorBoardの宣言的な?)
    summary_op = tf.summary.merge_all()
    # train_dirでTensorBoardログを出力するpathを指定
    summary_writer = tf.summary.FileWriter(FLAGS.train_dir, sess.graph)

    # 実際にmax_stepの回数だけ訓練の実行していく
#    with tf.Session() as sess:
    for step in range(FLAGS.max_steps):
        for i in range(len(train_image)//FLAGS.batch_size):
        # batch_size分の画像に対して訓練の実行
            batch = FLAGS.batch_size*i
        # feed_dictでplaceholderに入れるデータを指定する
            sess.run(train_op, feed_dict={
                images_placeholder: train_image[batch:batch+FLAGS.batch_size],
                labels_placeholder: train_label[batch:batch+FLAGS.batch_size],
                keep_prob: 0.5})

      # 1step終わるたびに精度を計算する
        train_accuracy = sess.run(acc, feed_dict={
            images_placeholder: train_image,
            labels_placeholder: train_label,
            keep_prob: 1.0})

        print( "step %d, training accuracy %g"%(step, train_accuracy))

      # 1step終わるたびにTensorBoardに表示する値を追加する
        summary_str = sess.run(summary_op, feed_dict={
            images_placeholder: train_image,
            labels_placeholder: train_label,
            keep_prob: 1.0})
        summary_writer.add_summary(summary_str, step)

  # 訓練が終了したらテストデータに対する精度を表示する
  print ("test accuracy %g"%sess.run(acc, feed_dict={
    images_placeholder: test_image,
    labels_placeholder: test_label,
    keep_prob: 1.0}))

  # データを学習して最終的に出来上がったモデルを保存
  # "model.ckpt"は出力されるファイル名
  save_path = saver.save(sess, "./model.ckpt")

```

TensorFlowのaccuracyの値が少しも変動しません。

###前提・実現したいこと
プログラミング初心者です以下当然のことを記載していたらすいません。

TensorFlowでアニメゆるゆりの制作会社を識別する(http://kivantium.hateblo.jp/entry/2015/11/18/233834)のブログを参考に画像認識識別をしようと実行したところ下記のように同じ結果しかでません。

１番最初に動かした時はstep145くらいまで精度があがり最高0.992843までいきましたが、step146になった途端精度が0.0889571に下がりそれ以降全200step行いましたがずっとその精度が表示され、その後何度試しても下記のような結果がでてしまうようになりました。

正常に動かない原因は何でしょうか。

###発生している問題・エラーメッセージ

```
step 0 training accuracy 0.0889571
test accuracy 0.2
step 1 training accuracy 0.0889571
test accuracy 0.2
step 2 training accuracy 0.0889571
test accuracy 0.2
step 3 training accuracy 0.0889571
test accuracy 0.2
step 4 training accuracy 0.0889571
test accuracy 0.2
step 5 training accuracy 0.0889571
test accuracy 0.2
step 6 training accuracy 0.0889571
test accuracy 0.2
step 7 training accuracy 0.0889571
test accuracy 0.2
step 8 training accuracy 0.0889571
test accuracy 0.2
step 9 training accuracy 0.0889571
test accuracy 0.2
step 10 training accuracy 0.0889571
test accuracy 0.2
step 11 training accuracy 0.0889571
test accuracy 0.2
step 12 training accuracy 0.0889571
test accuracy 0.2
step 13 training accuracy 0.0889571
test accuracy 0.2
step 14 training accuracy 0.0889571
test accuracy 0.2
step 15 training accuracy 0.0889571
test accuracy 0.2
step 16 training accuracy 0.0889571
test accuracy 0.2
step 17 training accuracy 0.0889571
test accuracy 0.2
step 18 training accuracy 0.0889571
test accuracy 0.2
step 19 training accuracy 0.0889571
test accuracy 0.2
```

###該当のソースコード
```ここに言語を入力
import sys
import cv2
import numpy as np
import tensorflow as tf
import tensorflow.python.platform

NUM_CLASSES =10  
IMAGE_SIZE = 28 
IMAGE_PIXELS = IMAGE_SIZE*IMAGE_SIZE*3

flags = tf.app.flags
FLAGS = flags.FLAGS

flags.DEFINE_string('train', '/home/k123/anaconda2/envs/tensorflow/data/train2.txt', 'File name of train data')
flags.DEFINE_string('test', '/home/k123/anaconda2/envs/tensorflow/data/test.txt', 'File name of train data')
flags.DEFINE_string('train_dir', '/home/k123/anaconda2/envs/tensorflow/data/gazo', 'Directory to put the training data.')
flags.DEFINE_integer('max_steps', 20, 'Number of steps to run trainer.')
flags.DEFINE_integer('batch_size', 10, 'Batch size'
                     'Must divide evenly into the dataset sizes.')
flags.DEFINE_float('learning_rate', 1e-4, 'Initial learning rate.')

def inference(images_placeholder, keep_prob):
     # 重みを標準偏差0.1の正規分布で初期化
    def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
      return tf.Variable(initial)

    # バイアスを標準偏差0.1の正規分布で初期化
    def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
      return tf.Variable(initial)

    # 畳み込み層の作成
    def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

    # プーリング層の作成
    def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
                            strides=[1, 2, 2, 1], padding='SAME')
    
    # 入力を28x28x3に変形
    x_image = tf.reshape(images_placeholder, [-1, 28, 28, 3])

    # 畳み込み層1の作成
    with tf.name_scope('conv1') as scope:
        W_conv1 = weight_variable([5, 5, 3, 32])
        b_conv1 = bias_variable([32])
        h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)

    # プーリング層1の作成
    with tf.name_scope('pool1') as scope:
        h_pool1 = max_pool_2x2(h_conv1)
    
    # 畳み込み層2の作成
    with tf.name_scope('conv2') as scope:
        W_conv2 = weight_variable([5, 5, 32, 64])
        b_conv2 = bias_variable([64])
        h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)

    # プーリング層2の作成
    with tf.name_scope('pool2') as scope:
        h_pool2 = max_pool_2x2(h_conv2)

    # 全結合層1の作成
    with tf.name_scope('fc1') as scope:
        W_fc1 = weight_variable([7*7*64, 1024])
        b_fc1 = bias_variable([1024])
        h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
        h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
        # dropoutの設定
        h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

    # 全結合層2の作成
    with tf.name_scope('fc2') as scope:
        W_fc2 = weight_variable([1024, NUM_CLASSES])
        b_fc2 = bias_variable([NUM_CLASSES])

    # ソフトマックス関数による正規化
    with tf.name_scope('softmax') as scope:
        y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

    # 各ラベルの確率のようなものを返す
    return y_conv

def loss(logits, labels):
     # 交差エントロピーの計算
    cross_entropy = -tf.reduce_sum(labels*tf.log(logits))
    # TensorBoardで表示するよう指定
    tf.scalar_summary("cross_entropy", cross_entropy)
    return cross_entropy

def training(loss, learning_rate):
    train_step = tf.train.AdamOptimizer(learning_rate).minimize(loss)
    return train_step

def accuracy(logits, labels):
    correct_prediction = tf.equal(tf.argmax(logits, 1), tf.argmax(labels, 1))
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
    tf.scalar_summary("accuracy", accuracy)
    return accuracy

if __name__ == '__main__':
    # ファイルを開く
    f = open(FLAGS.train, 'r')
    # データを入れる配列
    train_image = []
    train_label = []
    for line in f:
        # 改行を除いてスペース区切りにする
        line = line.rstrip()
        l = line.split()
        # データを読み込んで28x28に縮小
        img = cv2.imread(l[0])
        img = cv2.resize(img, (28, 28))
        # 一列にした後、0-1のfloat値にする
        train_image.append(img.flatten().astype(np.float32)/255.0)
        # ラベルを1-of-k方式で用意する
        tmp = np.zeros(NUM_CLASSES)
        tmp[int(l[1])] = 1
        train_label.append(tmp)
    # numpy形式に変換
    train_image = np.asarray(train_image)
    train_label = np.asarray(train_label)
    f.close()

    f = open(FLAGS.test, 'r')
    test_image = []
    test_label = []
    for line in f:
        line = line.rstrip()
        l = line.split()
        img = cv2.imread(l[0])
        img = cv2.resize(img, (28, 28))
        test_image.append(img.flatten().astype(np.float32)/255.0)
        tmp = np.zeros(NUM_CLASSES)
        tmp[int(l[1])] = 1
        test_label.append(tmp)
    test_image = np.asarray(test_image)
    test_label = np.asarray(test_label)
    f.close()

with tf.Graph().as_default():
        # 画像を入れる仮のTensor
        images_placeholder = tf.placeholder("float", shape=(None, IMAGE_PIXELS))
        # ラベルを入れる仮のTensor
        labels_placeholder = tf.placeholder("float", shape=(None, NUM_CLASSES))
        # dropout率を入れる仮のTensor
        keep_prob = tf.placeholder("float")

        # inference()を呼び出してモデルを作る
        logits = inference(images_placeholder, keep_prob)
        # loss()を呼び出して損失を計算
        loss_value = loss(logits, labels_placeholder)
        # training()を呼び出して訓練
        train_op = training(loss_value, FLAGS.learning_rate)
        # 精度の計算
        acc = accuracy(logits, labels_placeholder)

        # 保存の準備
        saver = tf.train.Saver()
        # Sessionの作成
        sess = tf.Session()
        # 変数の初期化
        sess.run(tf.initialize_all_variables())
        # TensorBoardで表示する値の設定
        summary_op = tf.merge_all_summaries()
        summary_writer = tf.train.SummaryWriter(FLAGS.train_dir, sess.graph_def)

 # 訓練の実行
for step in range(FLAGS.max_steps):
            for i in range(len(train_image)//FLAGS.batch_size):
                # batch_size分の画像に対して訓練の実行
                batch = FLAGS.batch_size*i
                # feed_dictでplaceholderに入れるデータを指定する
                sess.run(train_op, feed_dict={
                  images_placeholder: train_image[batch:batch+FLAGS.batch_size],
                  labels_placeholder: train_label[batch:batch+FLAGS.batch_size],
                  keep_prob: 0.5})

            # 1 step終わるたびに精度を計算する
            train_accuracy = sess.run(acc, feed_dict={
                images_placeholder: train_image,
                labels_placeholder: train_label,
                keep_prob: 1.0})
            print('step %d training accuracy %g'%(step, train_accuracy))

            # 1 step終わるたびにTensorBoardに表示する値を追加する
            summary_str = sess.run(summary_op, feed_dict={
                images_placeholder: train_image,
                labels_placeholder: train_label,
                keep_prob: 1.0})
            summary_writer.add_summary(summary_str, step)

    # 訓練が終了したらテストデータに対する精度を表示
            print('test accuracy %g'%(sess.run(acc, feed_dict={
        images_placeholder: test_image,
        labels_placeholder: test_label,
        keep_prob: 1.0})))

    # 最終的なモデルを保存
            save_path = saver.save(sess, "model0.ckpt")
```

###試したこと
◎画像の分類するクラス数を減らして実行したところ、トレーニング精度の数値が現在の0.889571から変わったもののやはり学習回数をいくらつんでも同じ精度しか表示されませんでした。
◎モデルファイル”model0.ckpt”を一回消して実行してみましたが変わりませんでした。

###補足情報(言語/FW/ツール等のバージョンなど)
ubuntu16.04/python3.5
画像形式はjpgまたはpngです。

Tensorflow画像識別実行結果がおかしい

###前提・実現したいこと
tensorflowを使ったテストプログラムを作成し、機械学習に必要十分なデータ量がどれだけなのか、その感覚を掴みたい、またはそのデータ量を推定するための見当のつけ方を身につけたい。です。

###発生している問題・エラーメッセージ
現在、「4つの値を入力とし、そのうち2番目の値と4番目の値が一致していれば０、不一致なら１を出力する」というルールで入力データ・学習データを自動生成し、学習・評価するプログラムを回しています。
**これの精度が上がらず、なぜ上がらないのかご教授いただきたい。**というのが今回の質問になります。

以下は100個のデータを渡して10000回学習を行い、1000回ごと及び学習終了後にテストデータによる評価をした結果です。誤差の値も上下を繰り返しており、精度も90%にすら届きません。
```
loss: 0.694365 accuracy: 0.400000
loss: 0.691950 accuracy: 0.600000
loss: 0.700912 accuracy: 0.400000
loss: 0.695201 accuracy: 0.400000
loss: 0.691830 accuracy: 0.600000
loss: 0.703954 accuracy: 0.400000
loss: 0.691710 accuracy: 0.600000
loss: 0.686128 accuracy: 0.600000
loss: 0.694570 accuracy: 0.400000
loss: 0.695068 accuracy: 0.400000

loss: 0.690764
accuracy: 0.600000
```

###該当のソースコード
ソースコード自体にスクリプトのパスは書かず、コマンドラインからpythonコマンドを叩いています。
```Python
import numpy as np
from numpy.random import randint
import tensorflow as tf
from pprint import pprint

# パラメータ設定
BATCH_SIZE = 100        # 1回の学習に用いるデータ数
NUM_TESTS = 25          # テストデータのデータ数
INPUT_DIMENSION = 4     # 入力データの次元数
HIDDEN_DIMENSION = 2    # 隠れ層の次元数
OUTPUT_CLASSES = 2      # 2クラスロジスティック回帰
LEARNING_RATE = 0.2     # 学習率
TRAIN_TIMES = 10000     # 学習回数

# テストデータの生成
# [1]と[3]の値は１か２のみで、この二つを比較し出力とする
def createSuperviserData(nDatas):
    inData = []
    outData = []
    for i in range(nDatas):
        tmpIn = [
            float(randint(18, 81)),
            float(randint(1, 3)),
            float(randint(18, 81)),
            float(randint(1, 3)),
        ]
        if tmpIn[1] == tmpIn[3]:
            tmpOut = [1, 0]
        else:
            tmpOut = [0, 1]
        inData.append(tmpIn)
        outData.append(tmpOut)
    return [inData, outData]

# 推論モデル
def inference(input_placeholder):
    # 隠れ層を一つ設ける
    with tf.name_scope('hidden'):
        W = tf.Variable(tf.zeros([INPUT_DIMENSION, HIDDEN_DIMENSION]), name='weight')
        b = tf.Variable(tf.zeros([HIDDEN_DIMENSION]), name='bias')
        _h = tf.nn.relu(tf.matmul(input_placeholder, W) + b, name='inference')

    W = tf.Variable(tf.zeros([HIDDEN_DIMENSION, OUTPUT_CLASSES]), name='weight')
    b = tf.Variable(tf.zeros([OUTPUT_CLASSES]), name='bias')
    y = tf.add(tf.matmul(_h, W), b, name='inference')

    return y

# 誤差。交差エントロピーを使う
def loss(logits, labels):
    labels = tf.to_int64(labels)
    xentropy = tf.nn.softmax_cross_entropy_with_logits(
            logits=logits, labels=labels)
    xentropy_mean = tf.reduce_mean(xentropy, name='loss')
    return xentropy_mean

# 訓練モデル。勾配降下法
def training(loss):
    optimizer = tf.train.GradientDescentOptimizer(LEARNING_RATE)
    train_step = optimizer.minimize(loss, name='training')
    return train_step

# モデルの精度確認
def accuracy(logits, labels):
    current_prediction = tf.equal(tf.argmax(logits, 1), tf.argmax(labels, 1))
    accuracy = tf.reduce_mean(tf.cast(current_prediction, tf.float32), name='accuracy')
    return accuracy

if __name__ == '__main__':
    # プレースホルダーなどを定義
    with tf.name_scope('superviser'):
        inputs = tf.placeholder(tf.float32, shape=(None, INPUT_DIMENSION), name='x')
        labels = tf.placeholder(tf.float32, shape=(None, OUTPUT_CLASSES), name='y')
        test_input, test_output = createSuperviserData(NUM_TESTS)
        test_feed_dict = {inputs: test_input, labels: test_output}
    pprint({'test_input': test_input, 'test_output': test_output})

    # 演算用のモデルなどを定義
    with tf.name_scope('main_op'):
        logits = inference(inputs)
        loss = loss(logits, labels)
        train_op = training(loss)
        accuracy = accuracy(logits, labels)
    pprint({'inputs':inputs,'labels':labels,'logits':logits,'loss':loss,
            'train_op':train_op,'accuracy':accuracy})
    print()

    # 訓練開始
    with tf.Session() as sess:
        init = tf.global_variables_initializer()
        init.run()
        for i in range(TRAIN_TIMES):
            x, y = createSuperviserData(BATCH_SIZE)
            sess.run(train_op, feed_dict={inputs:x, labels:y})
            if i % (TRAIN_TIMES//10) == 0:
                curLoss = sess.run(loss, feed_dict=test_feed_dict)
                curAccuracy = sess.run(accuracy, feed_dict=test_feed_dict)
                print('loss: %.6f accuracy: %.6f' % (curLoss, curAccuracy))
        print()
        print('loss: %.6f' % sess.run(loss, feed_dict=test_feed_dict))
        print('accuracy: %.6f' % sess.run(accuracy, feed_dict=test_feed_dict))

```

###試したこと
LEARNING_RATEとTRAIN_TIMESを中心に、パラメータを色々いじりながら試行を繰り返していますが、何が問題なのか見えていない状態です。

###補足情報(言語/FW/ツール等のバージョンなど)
Windows 10 にてVagrantでCentOS7の環境を用意し、そこでtensorflowのテストプログラムを作成しています。
> [vagrant@localhost python]$ cat /etc/redhat-release
> CentOS Linux release 7.3.1611 (Core)
> [vagrant@localhost python]$ pyenv versions
>   system
> * anaconda3-4.0.0 (set by /home/vagrant/.pyenv/version)
> [vagrant@localhost python]$ python -V
> Python 3.5.3 :: Anaconda custom (64-bit)