TensorflowのCNNモデルを2層から3層にしたい

Question

前提・実現したいこと

https://teratail.com/questions/234773#reply-341948
のプログラムがうっごいた後の発展になるのですが、
tensorflowの隠し層をもう1層増やそうとしています（2層から3層に）
2層で動いたプログラムは上記urlの回答部分に乗せています（文字制限のため）

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "C:\Users?????\Anaconda3\envs\opencvtest001\lib\site-packages\tensorflow_core\python\client\session.py", line 1365, in _do_call
    return fn(*args)
  File "C:\Users?????\Anaconda3\envs\opencvtest001\lib\site-packages\tensorflow_core\python\client\session.py", line 1350, in _run_fn
    target_list, run_metadata)
  File "C:\Users?????\Anaconda3\envs\opencvtest001\lib\site-packages\tensorflow_core\python\client\session.py", line 1443, in _call_tf_sessionrun
    run_metadata)
tensorflow.python.framework.errors_impl.InvalidArgumentError: Incompatible shapes: [15,2] vs. [30,2]
	 [[{{node mul}}]]

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\Users?????\Anaconda3\envs\opencvtest001\testmain03.py", line 303, in <module>
    keep_prob: 0.5})
  File "C:\Users?????\Anaconda3\envs\opencvtest001\lib\site-packages\tensorflow_core\python\client\session.py", line 956, in run
    run_metadata_ptr)
  File "C:\Users?????\Anaconda3\envs\opencvtest001\lib\site-packages\tensorflow_core\python\client\session.py", line 1180, in _run
    feed_dict_tensor, options, run_metadata)
  File "C:\Users?????\Anaconda3\envs\opencvtest001\lib\site-packages\tensorflow_core\python\client\session.py", line 1359, in _do_run
    run_metadata)
  File "C:\Users?????\Anaconda3\envs\opencvtest001\lib\site-packages\tensorflow_core\python\client\session.py", line 1384, in _do_call
    raise type(e)(node_def, op, message)
tensorflow.python.framework.errors_impl.InvalidArgumentError: Incompatible shapes: [15,2] vs. [30,2]
	 [[node mul (defined at \lib\site-packages\tensorflow_core\python\framework\ops.py:1751) ]]

Original stack trace for 'mul':
  File "\testmain03.py", line 270, in <module>
    loss_value = loss(logits, labels_placeholder)
  File "\testmain03.py", line 170, in loss
    cross_entropy = -tf.reduce_sum(labels*tf.log(tf.clip_by_value(logits,1e-10,1.0)))
  File "\lib\site-packages\tensorflow_core\python\ops\math_ops.py", line 899, in binary_op_wrapper
    return func(x, y, name=name)
  File "\lib\site-packages\tensorflow_core\python\ops\math_ops.py", line 1206, in _mul_dispatch
    return gen_math_ops.mul(x, y, name=name)
  File "\lib\site-packages\tensorflow_core\python\ops\gen_math_ops.py", line 6700, in mul
    "Mul", x=x, y=y, name=name)
  File "\lib\site-packages\tensorflow_core\python\framework\op_def_library.py", line 793, in _apply_op_helper
    op_def=op_def)
  File "\lib\site-packages\tensorflow_core\python\util\deprecation.py", line 507, in new_func
    return func(*args, **kwargs)
  File "\lib\site-packages\tensorflow_core\python\framework\ops.py", line 3360, in create_op
    attrs, op_def, compute_device)
  File "\lib\site-packages\tensorflow_core\python\framework\ops.py", line 3429, in _create_op_internal
    op_def=op_def)
  File "\lib\site-packages\tensorflow_core\python\framework\ops.py", line 1751, in __init__
    self._traceback = tf_stack.extract_stack()

該当のソースコード

文字削減のために、参考urlにあるプログラムと被る部分は省略します

# -*- coding: utf-8 -*-
~~~~~~~~~~省略~~~~~~~~~~~~~

  # 畳み込み層第1レイヤーを作成
  with tf.name_scope('conv1') as scope:

    W_conv1 = weight_variable([5, 5, 3, 32])

    # バイアスの数値を代入
    b_conv1 = bias_variable([32])

    h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)

  # プーリング層1の作成

  with tf.name_scope('pool1') as scope:
    h_pool1 = max_pool_2x2(h_conv1)

  # 畳み込み層第2レイヤーの作成
  with tf.name_scope('conv2') as scope:
    # 第一レイヤーでの出力を第2レイヤー入力にしてもう一度フィルタリング実施。
    # 64個の特徴を検出する。inputが32なのはなんで?(教えて欲しい)
    W_conv2 = weight_variable([5, 5, 32, 64])

    # バイアスの数値を代入(第一レイヤーと同じ)
    b_conv2 = bias_variable([64])

    # 検出した特徴の整理(第一レイヤーと同じ)
    h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)

  # プーリング層2の作成(ブーリング層1と同じ)
  with tf.name_scope('pool2') as scope:
    h_pool2 = max_pool_2x2(h_conv2)

#--------層の追加----------
  #畳み込み層第3レイヤーの作成
  with tf.name_scope('conv3') as scope:
    W_conv3 = weight_variable([5, 5, 64, 128])

    # バイアスの数値を代入(第一レイヤーと同じ)
    b_conv3 = bias_variable([128])

  #全結合層のほうは7*7*128 の計算をしなければならない？

    # 検出した特徴の整理(第一レイヤーと同じ)
    h_conv3 = tf.nn.relu(conv2d(h_pool2, W_conv3) + b_conv3)

  # プーリング層3の作成(ブーリング層1と同じ)
  with tf.name_scope('pool3') as scope:
    h_pool3 = max_pool_2x2(h_conv3)

#--------------------------------
  # 全結合層1の作成
  with tf.name_scope('fc1') as scope:
    W_fc1 = weight_variable([7*7*128, 1024])
    b_fc1 = bias_variable([1024])
    # 画像の解析を結果をベクトルへ変換
    h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*128])

    # 第一、第二と同じく、検出した特徴を活性化させている
    h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

    # dropoutの設定
    h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

  # 全結合層2の作成(読み出しレイヤー)
  with tf.name_scope('fc2') as scope:
    W_fc2 = weight_variable([1024, NUM_CLASSES])
    b_fc2 = bias_variable([NUM_CLASSES])

  # ソフトマックス関数による正規化(活性化関数)
  # ここまでのニューラルネットワークの出力を各ラベルの確率へ変換する

  with tf.name_scope('sigmoid') as scope:
    y_conv=tf.nn.sigmoid(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

  # 各ラベルの確率(のようなもの?)を返す
  return y_conv

# 予測結果と正解にどれくらい「誤差」があったかを算出する
# logitsは計算結果:  float - [batch_size, NUM_CLASSES]
# labelsは正解ラベル: int32 - [batch_size, NUM_CLASSES]
def loss(logits, labels):
  # 交差エントロピーの計算
  cross_entropy = -tf.reduce_sum(labels*tf.log(tf.clip_by_value(logits,1e-10,1.0)))

  # TensorBoardで表示するよう指定
  tf.summary.scalar("cross_entropy", cross_entropy)

  # 誤差の率の値(cross_entropy)を返す
  return cross_entropy

# 誤差(loss)を元に誤差逆伝播を用いて設計した学習モデルを訓練する

def training(loss, learning_keep_prob):
  #この関数がその当たりの全てをやってくれる様
  train_step = tf.train.AdamOptimizer(learning_keep_prob).minimize(loss)
  return train_step

# inferenceで学習モデルが出した予測結果の正解率を算出する
def accuracy(logits, labels):
  # 予測ラベルと正解ラベルが等しいか比べる。同じ値であればTrueが返される
 
  correct_prediction = tf.equal(tf.argmax(logits, 1), tf.argmax(labels, 1))

  # booleanのcorrect_predictionをfloatに直して正解率の算出
  # false:0,true:1に変換して計算する
  accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

  # TensorBoardで表示する様設定
  tf.summary.scalar("accuracy", accuracy)
  return accuracy

~~~~~~~~~~~~~~~~~~省略~~~~~~~~~~~~~~~~~~~~~~


#TensorBoardのグラフに出力するスコープを指定
with tf.Graph().as_default():
# 画像を入れるためのTensor(28*28*3(IMAGE_PIXELS)次元の画像が任意の枚数(None)分はいる)
    images_placeholder = tf.placeholder("float", shape=(None, IMAGE_PIXELS))

    # ラベルを入れるためのTensor(3(NUM_CLASSES)次元のラベルが任意の枚数(None)分入る)
    labels_placeholder = tf.placeholder("float", shape=(None, NUM_CLASSES))

    # dropout率を入れる仮のTensor
    keep_prob = tf.placeholder("float")

    # inference()を呼び出してモデルを作る
    logits = inference(images_placeholder, keep_prob)

    # loss()を呼び出して損失を計算
    loss_value = loss(logits, labels_placeholder)

    # training()を呼び出して訓練して学習モデルのパラメーターを調整する
    train_op = training(loss_value, FLAGS.learning_keep_prob)

    # 精度の計算
    acc = accuracy(logits, labels_placeholder)

    # 保存の準備
    saver = tf.train.Saver()

    # Sessionの作成(TensorFlowの計算は絶対Sessionの中でやらなきゃだめ)
    sess = tf.Session()

    # 変数の初期化(Sessionを開始したらまず初期化)
    sess.run(tf.global_variables_initializer())

    # TensorBoard表示の設定(TensorBoardの宣言的な?)
    summary_op = tf.summary.merge_all()

    # train_dirでTensorBoardログを出力するpathを指定
    summary_writer = tf.summary.FileWriter(FLAGS.train_dir, sess.graph)

    # 実際にmax_stepの回数だけ訓練の実行していく
    for step in range(FLAGS.max_steps):
      for i in range(len(train_image)//FLAGS.batch_size):
        # batch_size分の画像に対して訓練の実行
        batch = FLAGS.batch_size*i

        # feed_dictでplaceholderに入れるデータを指定する
        sess.run(train_op, feed_dict={
          images_placeholder: train_image[batch:batch+FLAGS.batch_size],
          labels_placeholder: train_label[batch:batch+FLAGS.batch_size],
          keep_prob: 0.5})

      # 1step終わるたびに精度を計算する
      train_accuracy = sess.run(acc, feed_dict={
        images_placeholder: train_image,
        labels_placeholder: train_label,
        keep_prob: 1.0})
      print("step %d, training accuracy %g" %(step, train_accuracy))

      # 1step終わるたびにTensorBoardに表示する値を追加する
      summary_str = sess.run(summary_op, feed_dict={
        images_placeholder: train_image,
        labels_placeholder: train_label,
        keep_prob: 1.0})
      summary_writer.add_summary(summary_str, step)

  # 訓練が終了したらテストデータに対する精度を表示する
    print("test accuracy %g" %(sess.run(acc, feed_dict={
        images_placeholder: test_image,
        labels_placeholder: test_label,
        keep_prob: 1.0})))

  # データを学習して最終的に出来上がったモデルを保存
  # "model.ckpt"は出力されるファイル名
    save_path = saver.save(sess, "model3.ckpt")

試したこと

こんなのを追加すれば行けるかなあと思って書いた（追加した）コードはこちらです

#--------層の追加----------
  #畳み込み層第3レイヤーの作成
  with tf.name_scope('conv3') as scope:
    W_conv3 = weight_variable([5, 5, 64, 128])

    # バイアスの数値を代入(第一レイヤーと同じ)
    b_conv3 = bias_variable([128])

  #全結合層のほうは7*7*128 の計算をしなければならない？

    # 検出した特徴の整理(第一レイヤーと同じ)
    h_conv3 = tf.nn.relu(conv2d(h_pool2, W_conv3) + b_conv3)

  # プーリング層3の作成(ブーリング層1と同じ)
  with tf.name_scope('pool3') as scope:
    h_pool3 = max_pool_2x2(h_conv3)

#--------------------------------

それに伴って全結合層の7764を　77128 に変更しました

補足情報（FW/ツールのバージョンなど）

tensorflow 2.0.0
python 3.7.5
windows10