Tensorflow を使用した顔分類で、うまく学習できていないのを直したい

Question

前提・実現したいこと

https://qiita.com/neriai/items/6a662a49054bc544806d
[TensorFlowを使ってDir en greyの顔分類器を作ってみた - ⑥学習プログラム編]
を参考に顔分類器を作成しています。（参考場所は分類が３種類だが自分は２種類）

発生している問題・エラーメッセージ

プログラムは問題なく動きますが、途中の学習精度が変化しないままプログラムが動いてしまいます。

step 0, training accuracy 0.7
step 1, training accuracy 0.7
step 2, training accuracy 0.7
step 3, training accuracy 0.7
   ~~~~~~~~~~~~~~~~~~~~

step 98, training accuracy 0.7
step 99, training accuracy 0.7
test accuracy 0.7

該当のソースコード

?????は自分のユーザーネームなので伏せています

# -*- coding: utf-8 -*-

import cv2
import random
import numpy as np
import sys, os
import tensorflow as tf
import tensorflow.python.platform
import tensorflow.compat.v1 as tf # FLAGS = tf.app.flags.FLAGSの解決

# 識別ラベルの数(今回は京:0,薫：1,Shinya:2なので、3)[自分とその他で２つ(まずは)]
NUM_CLASSES = 2

# 学習する時の画像のサイズ(px) 初期28
IMAGE_SIZE = 28

# 画像の次元数(28* 28*カラー(?))
IMAGE_PIXELS = IMAGE_SIZE*IMAGE_SIZE*3

# 学習に必要なデータのpathや学習の規模を設定
# パラメタの設定、デフォルト値やヘルプ画面の説明文を登録できるTensorFlow組み込み関数
#FLAGS = tf.app.flags.FLAGS

flags = tf.app.flags
FLAGS = flags.FLAGS

# 学習用データ
flags.DEFINE_string('train', 'C:/Users/?????/Anaconda3/envs/opencvtest001/workspace2/dir/train/data.txt', 'File name of train data')

# 検証用テストデータ
flags.DEFINE_string('test', 'C:/Users/?????/Anaconda3/envs/opencvtest001/workspace2/dir/test/data.txt', 'File name of test data')

# データを置いてあるフォルダ
flags.DEFINE_string('train_dir', 'C:/Users/?????/Anaconda3/envs/opencvtest001/workspace2/dir/data', 'Directory to put the training data.')

# データ学習訓練の試行回数
flags.DEFINE_integer('max_steps', 100, 'Number of steps to run trainer.')

# 1回の学習で何枚の画像を使うか
flags.DEFINE_integer('batch_size', 30, 'Batch size Must divide evenly into the dataset sizes.')

# 学習率、小さすぎると学習が進まないし、大きすぎても誤差が収束しなかったり発散したりしてダメとか
flags.DEFINE_float('learning_rate', 1e-4, 'Initial learning rate.')

# AIの学習モデル部分(ニューラルネットワーク)を作成する
# images_placeholder: 画像のplaceholder, keep_prob: dropout率のplace_holderが引数になり
# 入力画像に対して、各ラベルの確率を出力して返す

####
### ここに学習モデル処理を追記します

def inference(images_placeholder, keep_prob):
  # 重みを標準偏差0.1の正規分布で初期化する
  def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

  # バイアスを標準偏差0.1の正規分布で初期化する
  def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

  # 畳み込み層を作成する
  def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

  # プーリング層を作成する
  def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
                          strides=[1, 2, 2, 1], padding='SAME')
  # ベクトル形式で入力されてきた画像データを28px * 28pxの画像に戻す(?)。

  # 今回はカラー画像なので3(モノクロだと1)
  x_image = tf.reshape(images_placeholder, [-1, IMAGE_SIZE, IMAGE_SIZE, 3])

  # 畳み込み層第1レイヤーを作成
  with tf.name_scope('conv1') as scope:
    # 引数は[width, height, input, filters]。
    # 5px*5pxの範囲で画像をフィルターしている。今回はカラー画像なのでinputは3?
    # 32個の特徴を検出する
    W_conv1 = weight_variable([5, 5, 3, 32])

    # バイアスの数値を代入
    b_conv1 = bias_variable([32])

    # 特徴として検出した有用そうな部分は残し、特徴として使えなさそうな部分は
    # 0として、特徴として扱わないようにしているという理解(Relu関数)
    h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)

  # プーリング層1の作成
  # 2*2の枠を作り、その枠内の特徴を1*1分にいい感じに圧縮させている。
  # その枠を2*2ずつスライドさせて画像全体に対して圧縮作業を適用するという理解
  # ざっくり理解で細分化された特徴たちをもうちょっといい感じに大まかにまとめる(圧縮する)
  with tf.name_scope('pool1') as scope:
    h_pool1 = max_pool_2x2(h_conv1)

  # 畳み込み層第2レイヤーの作成
  with tf.name_scope('conv2') as scope:
    # 第一レイヤーでの出力を第2レイヤー入力にしてもう一度フィルタリング実施。
    # 64個の特徴を検出する。inputが32なのはなんで?(教えて欲しい)
    W_conv2 = weight_variable([5, 5, 32, 64])

    # バイアスの数値を代入(第一レイヤーと同じ)
    b_conv2 = bias_variable([64])

    # 検出した特徴の整理(第一レイヤーと同じ)
    h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)

  # プーリング層2の作成(ブーリング層1と同じ)
  with tf.name_scope('pool2') as scope:
    h_pool2 = max_pool_2x2(h_conv2)

  # 全結合層1の作成
  with tf.name_scope('fc1') as scope:
    W_fc1 = weight_variable([7*7*64, 1024])
    b_fc1 = bias_variable([1024])
    # 画像の解析を結果をベクトルへ変換
    h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])

    # 第一、第二と同じく、検出した特徴を活性化させている
    h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

    # dropoutの設定
    # 訓練用データだけに最適化して、実際にあまり使えないような
    # AIになってしまう「過学習」を防止の役割を果たすらしい
    h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

  # 全結合層2の作成(読み出しレイヤー)
  with tf.name_scope('fc2') as scope:
    W_fc2 = weight_variable([1024, NUM_CLASSES])
    b_fc2 = bias_variable([NUM_CLASSES])

  # ソフトマックス関数による正規化
  # ここまでのニューラルネットワークの出力を各ラベルの確率へ変換する
  with tf.name_scope('softmax') as scope:
    y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

  # 各ラベルの確率(のようなもの?)を返す
  return y_conv

# 予測結果と正解にどれくらい「誤差」があったかを算出する
# logitsは計算結果:  float - [batch_size, NUM_CLASSES]
# labelsは正解ラベル: int32 - [batch_size, NUM_CLASSES]
def loss(logits, labels):
  # 交差エントロピーの計算
  cross_entropy = -tf.reduce_sum(labels*tf.log(logits))

  # TensorBoardで表示するよう指定
  tf.summary.scalar("cross_entropy", cross_entropy)

  # 誤差の率の値(cross_entropy)を返す
  return cross_entropy

# 誤差(loss)を元に誤差逆伝播を用いて設計した学習モデルを訓練する
# 裏側何が起きているのかよくわかってないが、学習モデルの各層の重み(w)などを
# 誤差を元に最適化して調整しているという理解(?)
# (誤差逆伝播は「人工知能は人間を超えるか」書籍の説明が神)
def training(loss, learning_rate):
  #この関数がその当たりの全てをやってくれる様
  train_step = tf.train.AdamOptimizer(learning_rate).minimize(loss)
  return train_step

# inferenceで学習モデルが出した予測結果の正解率を算出する
def accuracy(logits, labels):
  # 予測ラベルと正解ラベルが等しいか比べる。同じ値であればTrueが返される
  # argmaxは配列の中で一番値の大きい箇所のindex(=一番正解だと思われるラベルの番号)を返す
  correct_prediction = tf.equal(tf.argmax(logits, 1), tf.argmax(labels, 1))

  # booleanのcorrect_predictionをfloatに直して正解率の算出
  # false:0,true:1に変換して計算する
  accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

  # TensorBoardで表示する様設定
  tf.summary.scalar("accuracy", accuracy)
  return accuracy

####
if __name__ == '__main__':

  f = open(FLAGS.train, 'r')
  # データを入れる配列
  train_image = []
  train_label = []

  for line in f:
    # 改行を除いてスペース区切りにする
    line = line.rstrip()
    l = line.split()

    # データを読み込んで28x28に縮小
    # img_path = "C:/Users/hogehoge/Desktop/"
    img = cv2.imread(l[0])
    img = cv2.resize(img, (IMAGE_SIZE, IMAGE_SIZE))

    # 一列にした後、0-1のfloat値にする
    train_image.append(img.flatten().astype(np.float32)/255.0)

    # ラベルを1-of-k方式で用意する
    tmp = np.zeros(NUM_CLASSES)
    tmp[int(l[1])] = 1
    train_label.append(tmp)

  # numpy形式に変換
train_image = np.asarray(train_image)
train_label = np.asarray(train_label)
f.close()

f = open(FLAGS.test, 'r')
test_image = []
test_label = []
for line in f:
    line = line.rstrip()
    l = line.split()
    img = cv2.imread(l[0])
    img = cv2.resize(img, (IMAGE_SIZE, IMAGE_SIZE))
    test_image.append(img.flatten().astype(np.float32)/255.0)
    tmp = np.zeros(NUM_CLASSES)
    tmp[int(l[1])] = 1
    test_label.append(tmp)
test_image = np.asarray(test_image)
test_label = np.asarray(test_label)
f.close()

#TensorBoardのグラフに出力するスコープを指定
with tf.Graph().as_default():
# 画像を入れるためのTensor(28*28*3(IMAGE_PIXELS)次元の画像が任意の枚数(None)分はいる)
    images_placeholder = tf.placeholder("float", shape=(None, IMAGE_PIXELS))

    # ラベルを入れるためのTensor(3(NUM_CLASSES)次元のラベルが任意の枚数(None)分入る)
    labels_placeholder = tf.placeholder("float", shape=(None, NUM_CLASSES))

    # dropout率を入れる仮のTensor
    keep_prob = tf.placeholder("float")

    # inference()を呼び出してモデルを作る
    logits = inference(images_placeholder, keep_prob)

    # loss()を呼び出して損失を計算
    loss_value = loss(logits, labels_placeholder)

    # training()を呼び出して訓練して学習モデルのパラメーターを調整する
    train_op = training(loss_value, FLAGS.learning_rate)

    # 精度の計算
    acc = accuracy(logits, labels_placeholder)

    # 保存の準備
    saver = tf.train.Saver()

    # Sessionの作成(TensorFlowの計算は絶対Sessionの中でやらなきゃだめ)
    sess = tf.Session()

    # 変数の初期化(Sessionを開始したらまず初期化)
    sess.run(tf.global_variables_initializer())

    # TensorBoard表示の設定(TensorBoardの宣言的な?)
    summary_op = tf.summary.merge_all()

    # train_dirでTensorBoardログを出力するpathを指定
    summary_writer = tf.summary.FileWriter(FLAGS.train_dir, sess.graph)

    # 実際にmax_stepの回数だけ訓練の実行していく
    for step in range(FLAGS.max_steps):
      for i in range(len(train_image)//FLAGS.batch_size):
        # batch_size分の画像に対して訓練の実行
        batch = FLAGS.batch_size*i

        # feed_dictでplaceholderに入れるデータを指定する
        sess.run(train_op, feed_dict={
          images_placeholder: train_image[batch:batch+FLAGS.batch_size],
          labels_placeholder: train_label[batch:batch+FLAGS.batch_size],
          keep_prob: 0.5})

      # 1step終わるたびに精度を計算する
      train_accuracy = sess.run(acc, feed_dict={
        images_placeholder: train_image,
        labels_placeholder: train_label,
        keep_prob: 1.0})
      print("step %d, training accuracy %g" %(step, train_accuracy))

      # 1step終わるたびにTensorBoardに表示する値を追加する
      summary_str = sess.run(summary_op, feed_dict={
        images_placeholder: train_image,
        labels_placeholder: train_label,
        keep_prob: 1.0})
      summary_writer.add_summary(summary_str, step)

  # 訓練が終了したらテストデータに対する精度を表示する
    print("test accuracy %g" %(sess.run(acc, feed_dict={
        images_placeholder: test_image,
        labels_placeholder: test_label,
        keep_prob: 1.0})))

  # データを学習して最終的に出来上がったモデルを保存
  # "model.ckpt"は出力されるファイル名
    save_path = saver.save(sess, "model2.ckpt")

##　追記
130行目あたりの出力層の正規化に使う関数をソフトマックス関数からシグモイド関数に変更しても変化ありませんでした。(シグモイド関数の書き方を間違っている可能性もありますが)

  with tf.name_scope('softmax') as scope:
    y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

                           ↓

  with tf.name_scope('sigmoid') as scope:
 y_conv=tf.nn.sigmoid(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

補足情報（FW/ツールのバージョンなど）

tensorflow 2.0.0
python 3.7.5
windows10

Comments

[Q71]

> # 64個の特徴を検出する。inputが32なのはなんで?(教えて欲しい)
第1層の出力が32だからです。

[Q71]

ん？元のページのコードにあるのか。
分類1と分類2のデータの割合、全体の個数は、どのくらいですか。
参考元のページのままのコード＆データでは、意図通り動きますか？（TensorFlowのバージョン違いを心配。特にr1とr2でかなり違うのに、r0の記事なので）

[takahiro_tt]

分類1のデータが学習560、テスト70、分類2は学習240テスト30です。
参考元のページのままだと、3つ目の素材が用意できていないので動かせていません。
また、やりたいことは⑨のデータ可視化あたりまでやれればいいと思ってるので、最後のほうのweb公開までは考えなくていいです。

[Q71]

データも自分で集めて、なんですね。
あなたが使っているTensorFlow r2と、参考元のr0で、コードの書き方が違うはずです。その辺は、調べて変えてありますか？

[takahiro_tt]

コードを動かすときにversion 違いでのエラーがいくつか出たので、調べて解決した覚えはあります。しかし改めて言われるとどんな違いがあるのかがわからないです。
version違いでコードの書き方に変化があるところをいくつか教えてもらってよろしいでしょうか。
また https://qiita.com/AkiyoshiOkano/items/9d49570b19e8a397e9b4
のコメントに書かれている
https://stackoverflow.com/questions/33712178/tensorflow-nan-bug を参考に後日変更を加えてみたいとおもいます。
それで意図通りに動けばいいんですが…

Answer 1

コメントに書いたように
https://stackoverflow.com/questions/33712178/tensorflow-nan-bug
を参考に

cross_entropy = -tf.reduce_sum(labels*tf.log(logits))                     
                       ↓
cross_entropy = -tf.reduce_sum(labels*tf.log(tf.clip_by_value(logits,1e-10,1.0)))

の変更に加えて、
学習率の部分を1e-4 から1e-5 に小さくしたらそれらしい動きになりました

# -*- coding: utf-8 -*-

import cv2
import random
import numpy as np
import sys, os
import tensorflow as tf
import tensorflow.python.platform
import tensorflow.compat.v1 as tf # FLAGS = tf.app.flags.FLAGSの解決

# 識別ラベルの数(今回は京:0,薫：1,Shinya:2なので、3)[自分とその他で２つ(まずは)]
NUM_CLASSES = 2

# 学習する時の画像のサイズ(px) 初期28
IMAGE_SIZE = 28

# 画像の次元数(28* 28*カラー(?))
IMAGE_PIXELS = IMAGE_SIZE*IMAGE_SIZE*3

# 学習に必要なデータのpathや学習の規模を設定
# パラメタの設定、デフォルト値やヘルプ画面の説明文を登録できるTensorFlow組み込み関数
#FLAGS = tf.app.flags.FLAGS

flags = tf.app.flags
FLAGS = flags.FLAGS

# 学習用データ
flags.DEFINE_string('train', 'C:/Users/?????/Anaconda3/envs/opencvtest001/workspace2/dir/train/data.txt', 'File name of train data')

# 検証用テストデータ
flags.DEFINE_string('test', 'C:/Users/?????/Anaconda3/envs/opencvtest001/workspace2/dir/test/data.txt', 'File name of test data')

# データを置いてあるフォルダ
flags.DEFINE_string('train_dir', 'C:/Users/?????/Anaconda3/envs/opencvtest001/workspace2/dir/data2', 'Directory to put the training data.')

# データ学習訓練の試行回数
flags.DEFINE_integer('max_steps', 100, 'Number of steps to run trainer.')

# 1回の学習で何枚の画像を使うか
flags.DEFINE_integer('batch_size', 30, 'Batch size Must divide evenly into the dataset sizes.')

# 学習率、小さすぎると学習が進まないし、大きすぎても誤差が収束しなかったり発散したりしてダメとか
flags.DEFINE_float('learning_keep_prob', 1e-5, 'Initial learning keep_prob.') #学習率を小さくしても変化なし


####
### ここに学習モデル処理を追記します

def inference(images_placeholder, keep_prob):
  # 重みを標準偏差0.1の正規分布で初期化する
  def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

  # バイアスを標準偏差0.1の正規分布で初期化する
  def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

  # 畳み込み層を作成する
  def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

  # プーリング層を作成する
  def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
                          strides=[1, 2, 2, 1], padding='SAME')
  # ベクトル形式で入力されてきた画像データを28px * 28pxの画像に戻す(?)。

  # 今回はカラー画像なので3(モノクロだと1)
  x_image = tf.reshape(images_placeholder, [-1, IMAGE_SIZE, IMAGE_SIZE, 3])

  # 畳み込み層第1レイヤーを作成
  with tf.name_scope('conv1') as scope:

    W_conv1 = weight_variable([5, 5, 3, 32])

    # バイアスの数値を代入
    b_conv1 = bias_variable([32])

    h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)

  # プーリング層1の作成

  with tf.name_scope('pool1') as scope:
    h_pool1 = max_pool_2x2(h_conv1)

  # 畳み込み層第2レイヤーの作成
  with tf.name_scope('conv2') as scope:
    # 第一レイヤーでの出力を第2レイヤー入力にしてもう一度フィルタリング実施。
    # 64個の特徴を検出する。inputが32なのはなんで?(教えて欲しい)
    W_conv2 = weight_variable([5, 5, 32, 64])

    # バイアスの数値を代入(第一レイヤーと同じ)
    b_conv2 = bias_variable([64])

    # 検出した特徴の整理(第一レイヤーと同じ)
    h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)

  # プーリング層2の作成(ブーリング層1と同じ)
  with tf.name_scope('pool2') as scope:
    h_pool2 = max_pool_2x2(h_conv2)

  # 全結合層1の作成
  with tf.name_scope('fc1') as scope:
    W_fc1 = weight_variable([7*7*64, 1024])
    b_fc1 = bias_variable([1024])
    # 画像の解析を結果をベクトルへ変換
    h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])

    # 第一、第二と同じく、検出した特徴を活性化させている
    h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

    # dropoutの設定
    h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

  # 全結合層2の作成(読み出しレイヤー)
  with tf.name_scope('fc2') as scope:
    W_fc2 = weight_variable([1024, NUM_CLASSES])
    b_fc2 = bias_variable([NUM_CLASSES])

  # ソフトマックス関数による正規化(活性化関数)
  #変更してシグモイド関数
  # ここまでのニューラルネットワークの出力を各ラベルの確率へ変換する

  with tf.name_scope('sigmoid') as scope:
    y_conv=tf.nn.sigmoid(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

  # 各ラベルの確率(のようなもの?)を返す
  return y_conv

# 予測結果と正解にどれくらい「誤差」があったかを算出する
# logitsは計算結果:  float - [batch_size, NUM_CLASSES]
# labelsは正解ラベル: int32 - [batch_size, NUM_CLASSES]
def loss(logits, labels):
  # 交差エントロピーの計算
  cross_entropy = -tf.reduce_sum(labels*tf.log(tf.clip_by_value(logits,1e-10,1.0)))

  # TensorBoardで表示するよう指定
  tf.summary.scalar("cross_entropy", cross_entropy)

  # 誤差の率の値(cross_entropy)を返す
  return cross_entropy

# 誤差(loss)を元に誤差逆伝播を用いて設計した学習モデルを訓練する

def training(loss, learning_keep_prob):
  #この関数がその当たりの全てをやってくれる様
  train_step = tf.train.AdamOptimizer(learning_keep_prob).minimize(loss)
  return train_step

# inferenceで学習モデルが出した予測結果の正解率を算出する
def accuracy(logits, labels):
  # 予測ラベルと正解ラベルが等しいか比べる。同じ値であればTrueが返される
 
  correct_prediction = tf.equal(tf.argmax(logits, 1), tf.argmax(labels, 1))

  # booleanのcorrect_predictionをfloatに直して正解率の算出
  # false:0,true:1に変換して計算する
  accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

  # TensorBoardで表示する様設定
  tf.summary.scalar("accuracy", accuracy)
  return accuracy

####
if __name__ == '__main__':

  f = open(FLAGS.train, 'r')
  # データを入れる配列
  train_image = []
  train_label = []

  for line in f:
    # 改行を除いてスペース区切りにする
    line = line.rstrip()
    l = line.split()

    # データを読み込んで28x28に縮小
    # img_path = "C:/Users/hogehoge/Desktop/"
    img = cv2.imread(l[0])
    img = cv2.resize(img, (IMAGE_SIZE, IMAGE_SIZE))

    # 一列にした後、0-1のfloat値にする
    train_image.append(img.flatten().astype(np.float32)/255.0)

    # ラベルを1-of-k方式で用意する
    tmp = np.zeros(NUM_CLASSES)
    tmp[int(l[1])] = 1
    train_label.append(tmp)

  # numpy形式に変換
train_image = np.asarray(train_image)
train_label = np.asarray(train_label)
f.close()

f = open(FLAGS.test, 'r')
test_image = []
test_label = []
for line in f:
    line = line.rstrip()
    l = line.split()
    img = cv2.imread(l[0])
    img = cv2.resize(img, (IMAGE_SIZE, IMAGE_SIZE))
    test_image.append(img.flatten().astype(np.float32)/255.0)
    tmp = np.zeros(NUM_CLASSES)
    tmp[int(l[1])] = 1
    test_label.append(tmp)
test_image = np.asarray(test_image)
test_label = np.asarray(test_label)
f.close()

#TensorBoardのグラフに出力するスコープを指定
with tf.Graph().as_default():
# 画像を入れるためのTensor(28*28*3(IMAGE_PIXELS)次元の画像が任意の枚数(None)分はいる)
    images_placeholder = tf.placeholder("float", shape=(None, IMAGE_PIXELS))

    # ラベルを入れるためのTensor(3(NUM_CLASSES)次元のラベルが任意の枚数(None)分入る)
    labels_placeholder = tf.placeholder("float", shape=(None, NUM_CLASSES))

    # dropout率を入れる仮のTensor
    keep_prob = tf.placeholder("float")

    # inference()を呼び出してモデルを作る
    logits = inference(images_placeholder, keep_prob)

    # loss()を呼び出して損失を計算
    loss_value = loss(logits, labels_placeholder)

    # training()を呼び出して訓練して学習モデルのパラメーターを調整する
    train_op = training(loss_value, FLAGS.learning_keep_prob)

    # 精度の計算
    acc = accuracy(logits, labels_placeholder)

    # 保存の準備
    saver = tf.train.Saver()

    # Sessionの作成(TensorFlowの計算は絶対Sessionの中でやらなきゃだめ)
    sess = tf.Session()

    # 変数の初期化(Sessionを開始したらまず初期化)
    sess.run(tf.global_variables_initializer())

    # TensorBoard表示の設定(TensorBoardの宣言的な?)
    summary_op = tf.summary.merge_all()

    # train_dirでTensorBoardログを出力するpathを指定
    summary_writer = tf.summary.FileWriter(FLAGS.train_dir, sess.graph)

    # 実際にmax_stepの回数だけ訓練の実行していく
    for step in range(FLAGS.max_steps):
      for i in range(len(train_image)//FLAGS.batch_size):
        # batch_size分の画像に対して訓練の実行
        batch = FLAGS.batch_size*i

        # feed_dictでplaceholderに入れるデータを指定する
        sess.run(train_op, feed_dict={
          images_placeholder: train_image[batch:batch+FLAGS.batch_size],
          labels_placeholder: train_label[batch:batch+FLAGS.batch_size],
          keep_prob: 0.5})

      # 1step終わるたびに精度を計算する
      train_accuracy = sess.run(acc, feed_dict={
        images_placeholder: train_image,
        labels_placeholder: train_label,
        keep_prob: 1.0})
      print("step %d, training accuracy %g" %(step, train_accuracy))

      # 1step終わるたびにTensorBoardに表示する値を追加する
      summary_str = sess.run(summary_op, feed_dict={
        images_placeholder: train_image,
        labels_placeholder: train_label,
        keep_prob: 1.0})
      summary_writer.add_summary(summary_str, step)

  # 訓練が終了したらテストデータに対する精度を表示する
    print("test accuracy %g" %(sess.run(acc, feed_dict={
        images_placeholder: test_image,
        labels_placeholder: test_label,
        keep_prob: 1.0})))

  # データを学習して最終的に出来上がったモデルを保存
  # "model.ckpt"は出力されるファイル名
    save_path = saver.save(sess, "model3.ckpt")

step 0, training accuracy 0.7
step 1, training accuracy 0.7
step 2, training accuracy 0.7
step 3, training accuracy 0.6975
step 4, training accuracy 0.695
step 5, training accuracy 0.69625
step 6, training accuracy 0.6975
step 7, training accuracy 0.6975
step 8, training accuracy 0.69625
step 9, training accuracy 0.695
step 10, training accuracy 0.6975
step 11, training accuracy 0.69875
step 12, training accuracy 0.7025
step 13, training accuracy 0.7025
step 14, training accuracy 0.705
step 15, training accuracy 0.71125
step 16, training accuracy 0.72125
step 17, training accuracy 0.71875
step 18, training accuracy 0.725
step 19, training accuracy 0.73
step 20, training accuracy 0.72625
step 21, training accuracy 0.725
step 22, training accuracy 0.72125
step 23, training accuracy 0.72
step 24, training accuracy 0.72
step 25, training accuracy 0.72125
step 26, training accuracy 0.72125
step 27, training accuracy 0.7225
step 28, training accuracy 0.72125
step 29, training accuracy 0.73
step 30, training accuracy 0.73125
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~