tensorflowで自作のdatasetを用いて学習させたい

Question

前提・実現したいこと

tensorflowで自作のdatasetを用いて文字認識を行いたいと思っています。
そこで、kerasのMNISTサンプルプログラムを改良してプログラムの作成を行いました。

具体的には、MNISTのdataset読み込みの部分を改良し、
画像データを置いているディレクトリ,ラベルをまとめたcsvファイルを作成、
tensorflowに読み込ませるようにしました。

発生している問題・エラーメッセージ

しかし、次のようなエラーが出て学習させることができませんでした。
どのように修正すれば良いのでしょうか？

/home/background/anaconda3/envs/tensorflow/lib/python3.6/site-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.
  from ._conv import register_converters as _register_converters
Using TensorFlow backend.
2018-10-09 09:59:02.531361: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AVX
2018-10-09 09:59:02.544577: I tensorflow/core/common_runtime/process_util.cc:69] Creating new thread pool with default inter op setting: 2. Tune using inter_op_parallelism_threads for best performance.
Traceback (most recent call last):
  File "ml_modi.py", line 55, in <module>
    x_train = x_train.reshape(1000, 4096)
ValueError: cannot reshape array of size 12288 into shape (1000,4096)

該当のソースコード

from __future__ import print_function

import tensorflow as tf

import keras
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.optimizers import RMSprop
from keras.preprocessing.image import load_img, img_to_array

from sklearn import svm
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

import numpy as np

batch_size = 128
num_classes = 10
epochs = 20

# setup queue for importing images

filename_queue = tf.train.string_input_producer(["./dataset.csv"])
reader = tf.TextLineReader()
key, value = reader.read(filename_queue)
filename, labels = tf.decode_csv(value, [["aa"], [1]])

img_r = tf.read_file(filename)
img = tf.image.decode_png(img_r, channels=3)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())

    try:
        coord = tf.train.Coordinator()
        threads = tf.train.start_queue_runners(coord=coord)

        for i in range(1000):
            image, label = sess.run([img, labels])

    finally:
        coord.request_stop()
        coord.join(threads)

x_train = np.float32(image)
x_test = np.float32(image)
y_train = np.float32(label)
y_test = np.float32(label)

x_train = x_train.reshape(1000, 4096)
x_test = x_test.reshape(1000, 4096)
#x_train = x_train.astype('float32')
#x_test = x_test.astype('float32')
x_train /= 255
x_test /= 255
print(x_train.shape[0], 'train sample')
print(x_test.shape[0], 'test sample')

# convert class vectors to binary class matrices
y_train = keras.utils.to_categorical(y_train, num_classes)
y_test = keras.utils.to_categorical(y_test, num_classes)

model = Sequential()
model.add(Dense(512, activation='relu', input_shape=(784,)))
model.add(Dropout(0.2))
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(num_classes, activation='softmax'))

model.summary()

model.compile(loss='categorical_crossentropy',
              optimizer=RMSprop(),
              metrics=['accuracy'])

history = model.fit(x_train, y_train,
                    batch_size=batch_size,
                    epochs=epochs,
                    verbose=1)
#score = model.evaluate(x_test, y_test, verbose=0)
#print('Test loss:', score[0])
#print('Test accuracy:', score[1])

補足情報（FW/ツールのバージョンなど）

• プログラムは、最低限tensorflowを動かせる状態にしたいので、評価はせずに学習だけするようにしています。
• datasetの画像データは一つの数値に100枚の画像を用意しています。サイズは64×64です。

Answer 1

reshape のエラー

x_train = x_train.reshape(1000, 4096)
x_test = x_test.reshape(1000, 4096)

reshape 前の x_train、y_train の形状が (1000, 64, 64) であることを確認してください。

ネットワークの入力

model.add(Dense(512, activation='relu', input_shape=(784,)))

MNIST は 28x28 なので 784 でしたが、今回は 64x64 なので、ここも 4096 に変えてあげないといけません。

model.add(Dense(512, activation='relu', input_shape=(4096,)))

Comments

[background]

## reshape のエラー
ありがとうございます。
x_trainに代入する変数はimageなので、imageの形状を調べてみたところ次のようになっていました。
'''python
>>> print(image.shape)
(64, 64, 3)
'''
これは読み取り方が良くなかったということでしょうか？

## ネットワークの入力
コピペしたものをそのまま使用していたため、修正を忘れていました。
ありがとうございました！

[tiitoi]

画像はグレースケールではなく、カラー画像でしょうか？
だとしたら、4096 ではなく、64x64x3=12288 になると思います。

[background]

画像の読み取りで12288と指定したらうまく動きました。
回答ありがとうございました！