質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.92%

機械学習で、ファイルを3つ以上読み込むとエラーが起きる

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 194

nifeP

score 1

機械学習で、画像認識をやろうと思っているのですが、画像が入ったファイルが2個までならできるのですが、3つ以上にするとエラーが起こってしまいます。

!pip install icrawler
# from icrawler.builtin import GoogleImageCrawler
# もつ煮の画像を100枚取得
# crawler = GoogleImageCrawler(storage={"root_dir": "moosuni"})
# crawler.crawl(keyword="もつ煮", max_num=100)
from icrawler.builtin import BingImageCrawler

# もつ煮の画像を100枚取得
crawler = BingImageCrawler(storage={"root_dir": "motsuni"})
crawler.crawl(keyword="もつ煮", max_num=100)
# ナポリタンの画像を100枚取得
# crawler = GoogleImageCrawler(storage={"root_dir": "naporitan"})
# crawler.crawl(keyword="ナポリタン", max_num=100)
from icrawler.builtin import BingImageCrawler

# ナポリタンの画像を100枚取得
crawler = BingImageCrawler(storage={"root_dir": "naporitan"})
crawler.crawl(keyword="ナポリタン", max_num=100)
# ラーメンの画像を100枚取得
# crawler = GoogleImageCrawler(storage={"root_dir": "ra-men"})
# crawler.crawl(keyword="ラーメン", max_num=100)
from icrawler.builtin import BingImageCrawler

# ラーメンの画像を100枚取得
crawler = BingImageCrawler(storage={"root_dir": "ra-men"})
crawler.crawl(keyword="醤油ラーメン", max_num=100)
from PIL import Image
import os, glob
import numpy as np
from PIL import ImageFile
# IOError: image file is truncated (0 bytes not processed)回避のため
ImageFile.LOAD_TRUNCATED_IMAGES = True

classes = ["motsuni", "naporitan", "ra-men"]
num_classes = len(classes)
image_size = 64
num_testdata = 25

X_train = []
X_test  = []
y_train = []
y_test  = []

for index, classlabel in enumerate(classes):
    photos_dir = "./" + classlabel
    files = glob.glob(photos_dir + "/*.jpg")
    for i, file in enumerate(files):
        image = Image.open(file)
        image = image.convert("RGB")
        image = image.resize((image_size, image_size))
        data = np.asarray(image)
        if i < num_testdata:
            X_test.append(data)
            y_test.append(index)
        else:

            for angle in range(-20, 20, 5):

                img_r = image.rotate(angle)
                data = np.asarray(img_r)
                X_train.append(data)
                y_train.append(index)

                img_trains = img_r.transpose(Image.FLIP_LEFT_RIGHT)
                data = np.asarray(img_trains)
                X_train.append(data)
                y_train.append(index)

X_train = np.array(X_train)
X_test  = np.array(X_test)
y_train = np.array(y_train)
y_test  = np.array(y_test)

xy = (X_train, X_test, y_train, y_test)
np.save("./ryouri.npy", xy)
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras.utils import np_utils
import keras
import numpy as np

classes = ["motsuni", "naporitan", "ra-men"]
num_classes = len(classes)
image_size = 64

"""
データを読み込む関数
"""
def load_data():
    X_train, X_test, y_train, y_test = np.load("./ryouri.npy", allow_pickle=True)
    # 入力データの各画素値を0-1の範囲で正規化(学習コストを下げるため)
    X_train = X_train.astype("float") / 255
    X_test  = X_test.astype("float") / 255
    # to_categorical()にてラベルをone hot vector化
    y_train = np_utils.to_categorical(y_train, num_classes)
    y_test  = np_utils.to_categorical(y_test, num_classes)

    return X_train, y_train, X_test, y_test

"""
モデルを学習する関数
"""
def train(X, y, X_test, y_test):
    model = Sequential()

    # Xは(1200, 64, 64, 3)
    # X.shape[1:]とすることで、(64, 64, 3)となり、入力にすることが可能です。
    model.add(Conv2D(32,(3,3), padding='same',input_shape=X.shape[1:]))
    model.add(Activation('relu'))
    model.add(Conv2D(32,(3,3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2,2)))
    model.add(Dropout(0.1))

    model.add(Conv2D(64,(3,3), padding='same'))
    model.add(Activation('relu'))
    model.add(Conv2D(64,(3,3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2,2)))
    model.add(Dropout(0.25))

    model.add(Flatten())
    model.add(Dense(512))
    model.add(Activation('relu'))
    model.add(Dropout(0.45))
    model.add(Dense(2))
    model.add(Activation('softmax'))

    # https://keras.io/ja/optimizers/
    # 今回は、最適化アルゴリズムにRMSpropを利用
    opt = keras.optimizers.rmsprop(lr=0.00005, decay=1e-6)
    # https://keras.io/ja/models/sequential/
    model.compile(loss='categorical_crossentropy',optimizer=opt,metrics=['accuracy'])
    model.fit(X, y, batch_size=28, epochs=40)
    # HDF5ファイルにKerasのモデルを保存
    model.save('./cnn.h5')

    return model

"""
メイン関数
データの読み込みとモデルの学習を行います。
"""
def main():
    # データの読み込み
    X_train, y_train, X_test, y_test = load_data()

    # モデルの学習
    model = train(X_train, y_train, X_test, y_test)

main()

エラー文

Using TensorFlow backend.

ValueError                                Traceback (most recent call last)
<ipython-input-6-efdca2892d59> in <module>()
75     model = train(X_train, y_train, X_test, y_test)
76 
---> 77 main()

4 frames
/usr/local/lib/python3.6/dist-packages/keras/engine/training_utils.py in standardize_input_data(data, names, shapes, check_batch_axis, exception_prefix)
143                             ': expected ' + names[i] + ' to have shape ' +
144                             str(shape) + ' but got array with shape ' +
--> 145                             str(data_shape))
146     return data
147 

ValueError: Error when checking target: expected activation_6 to have shape (2,) but got array with shape (3,)


Google Colab でやっています。

使う画像は、上のコードでウェブから拾ってきています。

3つ以上のファイルを機械学習するためにはどのようにすればいいか、教えていただけると嬉しいです。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • can110

    2020/07/05 13:47

    ランタイム→すべてのセルを実行 にて、全コードを再実行しても同様にエラーが発生するでしょうか?

    キャンセル

  • nifeP

    2020/07/05 14:27

    はい。そのように実行しても同じエラーが出ます。

    キャンセル

  • can110

    2020/07/05 14:48

    なるほど。了解です。画像はryouri.npyに格納されていると思いますが、できましたらryouri.npyを生成するのに必要な画像、コードを質問本文に追加くださると第三者が検証でき回答得られやすくなると思います。

    キャンセル

回答 1

checkベストアンサー

0

3つに分類するので最後はmodel.add(Dense(2))model.add(Dense(3))ではないでしょうか。
当方環境では動作するようになりました。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/07/05 21:26

    私も回答してくださったように変更した結果、うまく動作しました。
    ありがとうございました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.92%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る