質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.13%

tensorflowで自作のdatasetを用いて学習させたい

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 2,816

background

score 12

 前提・実現したいこと

tensorflowで自作のdatasetを用いて文字認識を行いたいと思っています。
そこで、kerasのMNISTサンプルプログラムを改良してプログラムの作成を行いました。

具体的には、MNISTのdataset読み込みの部分を改良し、
画像データを置いているディレクトリ,ラベルをまとめたcsvファイルを作成、
tensorflowに読み込ませるようにしました。

 発生している問題・エラーメッセージ

しかし、次のようなエラーが出て学習させることができませんでした。
どのように修正すれば良いのでしょうか?

/home/background/anaconda3/envs/tensorflow/lib/python3.6/site-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.
  from ._conv import register_converters as _register_converters
Using TensorFlow backend.
2018-10-09 09:59:02.531361: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AVX
2018-10-09 09:59:02.544577: I tensorflow/core/common_runtime/process_util.cc:69] Creating new thread pool with default inter op setting: 2. Tune using inter_op_parallelism_threads for best performance.
Traceback (most recent call last):
  File "ml_modi.py", line 55, in <module>
    x_train = x_train.reshape(1000, 4096)
ValueError: cannot reshape array of size 12288 into shape (1000,4096)

 該当のソースコード

from __future__ import print_function

import tensorflow as tf

import keras
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.optimizers import RMSprop
from keras.preprocessing.image import load_img, img_to_array

from sklearn import svm
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

import numpy as np

batch_size = 128
num_classes = 10
epochs = 20

# setup queue for importing images

filename_queue = tf.train.string_input_producer(["./dataset.csv"])
reader = tf.TextLineReader()
key, value = reader.read(filename_queue)
filename, labels = tf.decode_csv(value, [["aa"], [1]])

img_r = tf.read_file(filename)
img = tf.image.decode_png(img_r, channels=3)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())

    try:
        coord = tf.train.Coordinator()
        threads = tf.train.start_queue_runners(coord=coord)

        for i in range(1000):
            image, label = sess.run([img, labels])

    finally:
        coord.request_stop()
        coord.join(threads)

x_train = np.float32(image)
x_test = np.float32(image)
y_train = np.float32(label)
y_test = np.float32(label)

x_train = x_train.reshape(1000, 4096)
x_test = x_test.reshape(1000, 4096)
#x_train = x_train.astype('float32')
#x_test = x_test.astype('float32')
x_train /= 255
x_test /= 255
print(x_train.shape[0], 'train sample')
print(x_test.shape[0], 'test sample')

# convert class vectors to binary class matrices
y_train = keras.utils.to_categorical(y_train, num_classes)
y_test = keras.utils.to_categorical(y_test, num_classes)

model = Sequential()
model.add(Dense(512, activation='relu', input_shape=(784,)))
model.add(Dropout(0.2))
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.2))
model.add(Dense(num_classes, activation='softmax'))

model.summary()

model.compile(loss='categorical_crossentropy',
              optimizer=RMSprop(),
              metrics=['accuracy'])

history = model.fit(x_train, y_train,
                    batch_size=batch_size,
                    epochs=epochs,
                    verbose=1)
#score = model.evaluate(x_test, y_test, verbose=0)
#print('Test loss:', score[0])
#print('Test accuracy:', score[1])

 補足情報(FW/ツールのバージョンなど)

  • プログラムは、最低限tensorflowを動かせる状態にしたいので、評価はせずに学習だけするようにしています。
  • datasetの画像データは一つの数値に100枚の画像を用意しています。サイズは64×64です。
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

 reshape のエラー

x_train = x_train.reshape(1000, 4096)
x_test = x_test.reshape(1000, 4096)

reshape 前の x_train、y_train の形状が (1000, 64, 64) であることを確認してください。

 ネットワークの入力

model.add(Dense(512, activation='relu', input_shape=(784,)))

MNIST は 28x28 なので 784 でしたが、今回は 64x64 なので、ここも 4096 に変えてあげないといけません。

model.add(Dense(512, activation='relu', input_shape=(4096,)))

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/10/09 13:51

    ## reshape のエラー
    ありがとうございます。
    x_trainに代入する変数はimageなので、imageの形状を調べてみたところ次のようになっていました。
    '''python
    >>> print(image.shape)
    (64, 64, 3)
    '''
    これは読み取り方が良くなかったということでしょうか?

    ## ネットワークの入力
    コピペしたものをそのまま使用していたため、修正を忘れていました。
    ありがとうございました!

    キャンセル

  • 2018/10/09 14:10

    画像はグレースケールではなく、カラー画像でしょうか?
    だとしたら、4096 ではなく、64x64x3=12288 になると思います。

    キャンセル

  • 2018/10/09 16:56

    画像の読み取りで12288と指定したらうまく動きました。
    回答ありがとうございました!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.13%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る