深層学習でのエラーについて

Question

深層学習で２つの画像を見分けるというものを実装しているのですが

import imageio
import numpy as np
from PIL import Image




X = []
y = []

for i in range(1, 61):
    
    filepath = f"/Users/K/Downloads/hifu_photos/normal/normal-{i:03d}.png"
    img = Image.open(filepath)
    img = img.convert("RGBA")   
    img.save(f"/Users/K/Downloads/hifu_photos/normal/normal-{i:03d}.png")
    
    filepath = f"/Users/K/Downloads/hifu_photos/melano/melano-{i:03d}.png"
    img = Image.open(filepath)
    img = img.convert("RGBA")   ## RGBAカラーに変換
    img.save(f"/Users/K/Downloads/hifu_photos/melano/melano-{i:03d}.png")
    
    
    
    p1 = imageio.imread(f"/Users/K/Downloads/hifu_photos/melano/melano-{i:03d}.png").reshape(150,150,4)
    X = np.append(X, p1)
    y = np.append(y, np.array([0], dtype = np.uint8)).reshape(-1,1)
    


    p2 =imageio.imread(f"/Users/K/Downloads/hifu_photos/normal/normal-{i:03d}.png").reshape(150,150,4)
    X = np.append(X, p2)
    y = np.append(y, np.array([1], dtype = np.uint8)).reshape(-1,1)

X_train = X[:48]
y_train = y[:48]
X_test = X[48:]
y_test = y[48:]

print(X_train.shape)

rom keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras.optimizers import Adam
import time

model = Sequential()
model.add(Conv2D(16, (3, 3), 
          input_shape=(150, 150, 4), activation='relu'))
model.add(Conv2D(32, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))                # (A)
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))                # (B)
model.add(Dropout(0.25))                                 # (C)
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.25))                                 # (D)
model.add(Dense(2, activation='softmax'))

model.compile(loss='categorical_crossentropy',
              optimizer=Adam(),
              metrics=['accuracy'])

startTime = time.time()

history = model.fit(X_train, y_train, batch_size=1000, epochs=20,verbose=1, validation_data=(X_test, y_test))


loss, accuracy = model.evaluate(X_test, y_test)
print("loss:{} accuracy:{}".format(loss, accuracy))
print("Computation time:{0:.3f} sec".format(time.time() - startTime))

のようにコードを書くと

---> 26 history = model.fit(X_train, y_train, batch_size=1000, epochs=20,verbose=1, validation_data=(X_test, y_test))

 ValueError: Input 0 of layer sequential is incompatible with the layer: : expected min_ndim=4, found ndim=2. Full shape received: [None, 1]

のようにエラーが出てしまいます。どこかおかしい場所はありますでしょうか。。。

Comments

[toast-uz]

コードを提示してどこでエラーが発生しているのかを示してください。これだけの情報だと、英語を日本語に翻訳するくらいしか、できません。

[yy-_.15]

申し訳ありません。
コードを加筆いたしました。

[toast-uz]

今入れた修正は戻した方が良いです。戻した前提で回答しています。

[yy-_.15]

修正を戻させていただいた上でコードを変更させていただきました。
そうすると今度はNoneが出て次元が2になっている？のかもしれません。。

[toast-uz]

最初の質問文やコードは上書きしないで、変更点は追記下さい。回答の理由が、他の方に分からなくなります。

[yy-_.15]

申し訳ございません。
初心者で使い方をよく分かっておりませんでした。
今後、追記をしていくように致します。

[toast-uz]

print(X_train.shape)は何と出ていますか？

[yy-_.15]

(48,)

このように出ております。

[yy-_.15]

print(p1.shape)は
(150, 150, 4)
ときちんと出ております。

[toast-uz]

画像は入れていませんが、実際に同サイズのndarrayを入れて動作確認し、動くようにしましたので、新しい回答を参照ください。

Answer 1

エラーの意味は、model.fitにおけるx_trainの形式が違うということです。
またこの部分のエラーを取る、y_trainの形式も違うというエラーが新たに出ます。クラス分類なので、正解データは、1,0といったスカラー値ではなく、[1,0],[0,1]といった各要素が各クラスのウエイト1になるようなOne-hotベクトル形式にすべきです。

まず、モデル定義のところの修正が必要です。

model = Sequential()
model.add(Conv2D(16, (3, 3), 
          input_shape=(150, 150, 3), activation='relu'))

以下のように修正して、RBGAの4次元に対応させます。

model = Sequential()
model.add(Conv2D(16, (3, 3), 
          input_shape=(150, 150, 4), activation='relu'))

また、前処理において、yの形式を変更しましょう。さらに、上記の他に、forループでXが毎回上書きされているという間違いもあります。

for i in range(1, 61):

（中略）

    p1 = imageio.imread(f"/Users/K/Downloads/hifu_photos/melano/melano-{i:03d}.png").reshape(150,150,4)
    X = p1
    y = np.append(y, np.array([0], dtype = np.uint8)).reshape(-1,1)


    p2 =imageio.imread(f"/Users/K/Downloads/hifu_photos/normal/normal-{i:03d}.png").reshape(150,150,4)
    X = p2
    y = np.append(y, np.array([1], dtype = np.uint8)).reshape(-1,1)

以下のように修正して、Xを追記しき、Xのshapeが(120, 150, 150, 4)になるようにします。最初の次元が60回ループ（×2画像）させた積み重ね方向です。また、yもOne-hotベクトル形式を積み重ねることで、shapeが(120, 2)になるのが正しいです。

X = np.empty((0,150,150,4))
y = np.empty((0,2))
for i in range(1, 61):

（中略）

    p1 = imageio.imread(f"/Users/K/Downloads/hifu_photos/melano/melano-{i:03d}.png").reshape(150,150,4)
    p2 =imageio.imread(f"/Users/K/Downloads/hifu_photos/normal/normal-{i:03d}.png").reshape(150,150,4)
    X = np.vstack([X, np.stack([p1, p2])])
    y = np.vstack([y, [[1, 0], [0, 1]]])

できあがったモデルで予測をした場合、結果はベクトル形式ででてきます。各要素が、対応するクラスの予測可能性に相当します。

Comments

[yy-_.15]

ご回答ありがとうございます。
上記のように書き換えてみたのですが、まだエラーの方が
上記のように出てきてしまいます。
他におかしい場所があるのでしょうか

[yy-_.15]

すごい！
できました！ありがとうございます！！
コードの意味は自分で調べ、またわからない場合は質問させていただくかもしれません。。
よろしくお願い致します。