Tensorflowで入力サイズを変える

Question

現在Alexnetのモデルを使って画像分類を行っていますが、学習率を変化させても認識率が発散(?)してしまい学習が進みません。そこで入力の画像サイズを大きくしてみようと思っているのですが、画像サイズを28から大きくした場合、畳み込み層や全結合の値はどのように変化させればよいのでしょうか。
Cannot feed valueのエラーが出るのですがどのように値を変えればよいか分かりません。

# -*- coding: utf-8 -*-
#Alexnet
import sys
import cv2
import numpy as np
import tensorflow as tf
import tensorflow.python.platform
import os

NUM_CLASSES = 12
IMAGE_SIZE = 28
IMAGE_PIXELS = IMAGE_SIZE*IMAGE_SIZE*3

flags = tf.app.flags
FLAGS = flags.FLAGS
flags.DEFINE_string('train', 'train.txt', 'File name of train data')
flags.DEFINE_string('test', 'test.txt', 'File name of train data')
flags.DEFINE_string('image_dir', 'data', 'Directory of images')
flags.DEFINE_string('train_dir', 'logs', 'Directory to put the training data.')
flags.DEFINE_integer('max_steps', 100, 'Number of steps to run trainer.')
flags.DEFINE_integer('batch_size', 50, 'Batch size'
                     'Must divide evenly into the dataset sizes.')
flags.DEFINE_float('learning_rate', 1e-5, 'Initial learning rate.')

def inference(images_placeholder, keep_prob):
    """ 予測モデルを作成する関数
    引数: 
        images_placeholder: 画像のplaceholder
        keep_prob: dropout率のplace_holder
    返り値:
        y_conv: 各クラスの確率(のようなもの)
    """
    # 重みを標準偏差0.1の正規分布で初期化
    def weight_variable(shape):
      initial = tf.truncated_normal(shape, stddev=0.1)
      return tf.Variable(initial)
    # バイアスを標準偏差0.1の正規分布で初期化
    def bias_variable(shape):
      initial = tf.constant(0.1, shape=shape)
      return tf.Variable(initial)
    # 畳み込み層の作成
    def conv2d(x, W):
      return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
    # プーリング層の作成
    def max_pool_2x2(x):
      return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
                            strides=[1, 2, 2, 1], padding='SAME')
    
    # 入力を28x28x3に変形
    x_image = tf.reshape(images_placeholder, [-1, IMAGE_SIZE, IMAGE_SIZE, 3])
    # 畳み込み層1の作成
    with tf.name_scope('conv1') as scope:
        W_conv1 = weight_variable([5, 5, 3, 32])
        b_conv1 = bias_variable([32])
        h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
        
    # プーリング層1の作成
    with tf.name_scope('pool1') as scope:
        h_pool1 = max_pool_2x2(h_conv1)
    
    # 畳み込み層2の作成
    with tf.name_scope('conv2') as scope:
        W_conv2 = weight_variable([5, 5, 32, 64])
        b_conv2 = bias_variable([64])
        h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)

    # プーリング層2の作成
    with tf.name_scope('pool2') as scope:
        h_pool2 = max_pool_2x2(h_conv2)
        
    # 畳み込み層3の作成
    with tf.name_scope('conv3') as scope:
        W_conv3 = weight_variable([5, 5, 64, 64])
        b_conv3 = bias_variable([64])
        h_conv3 = tf.nn.relu(conv2d(h_pool2, W_conv3) + b_conv3)
        
    # 畳み込み層4の作成
    with tf.name_scope('conv4') as scope:
        W_conv4 = weight_variable([5, 5, 64, 64])
        b_conv4 = bias_variable([64])
        h_conv4 = tf.nn.relu(conv2d(h_conv3, W_conv4) + b_conv4)
        
    # 畳み込み層5の作成
    with tf.name_scope('conv5') as scope:
        W_conv5 = weight_variable([5, 5, 64, 64])
        b_conv5 = bias_variable([64])
        h_conv5 = tf.nn.relu(conv2d(h_conv4, W_conv5) + b_conv5)
        
    # プーリング層3の作成
    with tf.name_scope('pool3') as scope:
        h_pool3 = max_pool_2x2(h_conv5)
        
    # 全結合層1の作成
    with tf.name_scope('fc1') as scope:
        W_fc1 = weight_variable([7*7*64, 1024])
        b_fc1 = bias_variable([1024])
        h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
        h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
        # dropoutの設定
        h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
    
    # 全結合層2の作成
    with tf.name_scope('fc2') as scope:
        W_fc2 = weight_variable([1024, 1024])
        b_fc2 = bias_variable([1024])
        h_fc2 = tf.nn.relu(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)
        # dropoutの設定
        h_fc2_drop = tf.nn.dropout(h_fc2, keep_prob)
    # 全結合層3の作成
    with tf.name_scope('fc3') as scope:
        W_fc3 = weight_variable([1024, NUM_CLASSES])
        b_fc3 = bias_variable([NUM_CLASSES])
        
        y_conv = tf.matmul(h_fc2_drop, W_fc3) + b_fc3
    # ソフトマックス関数による正規化
    with tf.name_scope('softmax') as scope:
        y_conv=tf.nn.softmax(tf.matmul(h_fc2_drop, W_fc3) + b_fc3)
    # 各ラベルの確率のようなものを返す
    return y_conv

以下略

Answer 1

下記、全結合層(fc1)の7*7*64の7*7が28x28の画像を入力した際に、fc1層に入力される画像サイズになり、全結合層では7x7x64=3136の1次元に落としてそれらの要素を計算します。
入力画像サイズを変更すると、fc1層に到達した際の画像サイズが変わるため、全結合層に入力されるデータの要素数が変わりますので、この部分をご希望の画像サイズに合わせて適切に変更してください。

    # 全結合層1の作成
    with tf.name_scope('fc1') as scope:
        W_fc1 = weight_variable([7*7*64, 1024])
        b_fc1 = bias_variable([1024])
        h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
        h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
        # dropoutの設定
        h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

なお、今回のネットワークだと、poolingを2回行っているため、そこで画像の縮小が起きます。
これにより、画像サイズが28x28→14x14→7x7と変化しています。
＃pool3はご提示いただいたコードだと使ってませんよね？

Comments

[TyoNgc]

回答ありがとうございます。Poolingの部分はミスでした。例えば入力を96にする場合、3回poolingを行って全結合層が12*12*64という認識でよろしいでしょうか。またその横の1024は何を表しているのでしょうか、その値も入力サイズによって変えなければいけませんか？

[diningyo]

> 例えば入力を96にする場合、3回poolingを行って全結合層が12*12*64という認識でよろしいでしょうか。
その認識で正しいです。
> またその横の1024は何を表しているのでしょうか、その値も入力サイズによって変えなければいけませんか？
1024は全結合層の出力の次元数で、こちらは動作させる上では変更は不要です。

今回のネットワークでは全結合層部分は、
fc1 -> IN:7x7x64 / OUT:1024
fc2 -> IN:1024 / OUT 0124
fc3 -> 1024 / OUT:12
となっています。

[TyoNgc]

重ね重ね申し訳ありませんが、Dimensions must be equal, but are 3136 and 9216 for 'fc1/MatMul' (op: 'MatMul') with input shapes: [?,3136], [9216,1024].このようなエラーが出てしまうのは何が原因でしょうか。念のため修正プログラムを本文に追加します

[TyoNgc]

すみません、これは勘違いでした。