機械学習で、ファイルを３つ以上読み込むとエラーが起きる

Question

機械学習で、画像認識をやろうと思っているのですが、画像が入ったファイルが２個までならできるのですが、３つ以上にするとエラーが起こってしまいます。

!pip install icrawler

# from icrawler.builtin import GoogleImageCrawler
# もつ煮の画像を100枚取得
# crawler = GoogleImageCrawler(storage={"root_dir": "moosuni"})
# crawler.crawl(keyword="もつ煮", max_num=100)
from icrawler.builtin import BingImageCrawler

# もつ煮の画像を100枚取得
crawler = BingImageCrawler(storage={"root_dir": "motsuni"})
crawler.crawl(keyword="もつ煮", max_num=100)

# ナポリタンの画像を100枚取得
# crawler = GoogleImageCrawler(storage={"root_dir": "naporitan"})
# crawler.crawl(keyword="ナポリタン", max_num=100)
from icrawler.builtin import BingImageCrawler

# ナポリタンの画像を100枚取得
crawler = BingImageCrawler(storage={"root_dir": "naporitan"})
crawler.crawl(keyword="ナポリタン", max_num=100)

# ラーメンの画像を100枚取得
# crawler = GoogleImageCrawler(storage={"root_dir": "ra-men"})
# crawler.crawl(keyword="ラーメン", max_num=100)
from icrawler.builtin import BingImageCrawler

# ラーメンの画像を100枚取得
crawler = BingImageCrawler(storage={"root_dir": "ra-men"})
crawler.crawl(keyword="醤油ラーメン", max_num=100)

from PIL import Image
import os, glob
import numpy as np
from PIL import ImageFile
# IOError: image file is truncated (0 bytes not processed)回避のため
ImageFile.LOAD_TRUNCATED_IMAGES = True

classes = ["motsuni", "naporitan", "ra-men"]
num_classes = len(classes)
image_size = 64
num_testdata = 25

X_train = []
X_test  = []
y_train = []
y_test  = []

for index, classlabel in enumerate(classes):
    photos_dir = "./" + classlabel
    files = glob.glob(photos_dir + "/*.jpg")
    for i, file in enumerate(files):
        image = Image.open(file)
        image = image.convert("RGB")
        image = image.resize((image_size, image_size))
        data = np.asarray(image)
        if i < num_testdata:
            X_test.append(data)
            y_test.append(index)
        else:

            for angle in range(-20, 20, 5):

                img_r = image.rotate(angle)
                data = np.asarray(img_r)
                X_train.append(data)
                y_train.append(index)

                img_trains = img_r.transpose(Image.FLIP_LEFT_RIGHT)
                data = np.asarray(img_trains)
                X_train.append(data)
                y_train.append(index)

X_train = np.array(X_train)
X_test  = np.array(X_test)
y_train = np.array(y_train)
y_test  = np.array(y_test)

xy = (X_train, X_test, y_train, y_test)
np.save("./ryouri.npy", xy)

from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras.utils import np_utils
import keras
import numpy as np

classes = ["motsuni", "naporitan", "ra-men"]
num_classes = len(classes)
image_size = 64

"""
データを読み込む関数
"""
def load_data():
    X_train, X_test, y_train, y_test = np.load("./ryouri.npy", allow_pickle=True)
    # 入力データの各画素値を0-1の範囲で正規化(学習コストを下げるため)
    X_train = X_train.astype("float") / 255
    X_test  = X_test.astype("float") / 255
    # to_categorical()にてラベルをone hot vector化
    y_train = np_utils.to_categorical(y_train, num_classes)
    y_test  = np_utils.to_categorical(y_test, num_classes)

    return X_train, y_train, X_test, y_test

"""
モデルを学習する関数
"""
def train(X, y, X_test, y_test):
    model = Sequential()

    # Xは(1200, 64, 64, 3)
    # X.shape[1:]とすることで、(64, 64, 3)となり、入力にすることが可能です。
    model.add(Conv2D(32,(3,3), padding='same',input_shape=X.shape[1:]))
    model.add(Activation('relu'))
    model.add(Conv2D(32,(3,3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2,2)))
    model.add(Dropout(0.1))

    model.add(Conv2D(64,(3,3), padding='same'))
    model.add(Activation('relu'))
    model.add(Conv2D(64,(3,3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2,2)))
    model.add(Dropout(0.25))

    model.add(Flatten())
    model.add(Dense(512))
    model.add(Activation('relu'))
    model.add(Dropout(0.45))
    model.add(Dense(2))
    model.add(Activation('softmax'))

    # https://keras.io/ja/optimizers/
    # 今回は、最適化アルゴリズムにRMSpropを利用
    opt = keras.optimizers.rmsprop(lr=0.00005, decay=1e-6)
    # https://keras.io/ja/models/sequential/
    model.compile(loss='categorical_crossentropy',optimizer=opt,metrics=['accuracy'])
    model.fit(X, y, batch_size=28, epochs=40)
    # HDF5ファイルにKerasのモデルを保存
    model.save('./cnn.h5')

    return model

"""
メイン関数
データの読み込みとモデルの学習を行います。
"""
def main():
    # データの読み込み
    X_train, y_train, X_test, y_test = load_data()

    # モデルの学習
    model = train(X_train, y_train, X_test, y_test)

main()

エラー文

Using TensorFlow backend.

ValueError Traceback (most recent call last)
<ipython-input-6-efdca2892d59> in <module>()
75 model = train(X_train, y_train, X_test, y_test)
76
---> 77 main()

4 frames
/usr/local/lib/python3.6/dist-packages/keras/engine/training_utils.py in standardize_input_data(data, names, shapes, check_batch_axis, exception_prefix)
143 ': expected ' + names[i] + ' to have shape ' +
144 str(shape) + ' but got array with shape ' +
--> 145 str(data_shape))
146 return data
147

ValueError: Error when checking target: expected activation_6 to have shape (2,) but got array with shape (3,)

---

Google Colab　でやっています。

使う画像は、上のコードでウェブから拾ってきています。

３つ以上のファイルを機械学習するためにはどのようにすればいいか、教えていただけると嬉しいです。

Comments

[8524ba23]

ランタイム→すべてのセルを実行 にて、全コードを再実行しても同様にエラーが発生するでしょうか？

[nifeP]

はい。そのように実行しても同じエラーが出ます。

[8524ba23]

なるほど。了解です。画像はryouri.npyに格納されていると思いますが、できましたらryouri.npyを生成するのに必要な画像、コードを質問本文に追加くださると第三者が検証でき回答得られやすくなると思います。

Answer 1

３つに分類するので最後はmodel.add(Dense(2))→model.add(Dense(3))ではないでしょうか。
当方環境では動作するようになりました。

Comments

[nifeP]

私も回答してくださったように変更した結果、うまく動作しました。
ありがとうございました。