学習用データセットの画像数とnpyファイルに保存されたデータの数が合わない

Question

前提

pythonを用いてイモリの胚を良好、不良に分ける二値分類を行っています。
良好胚の学習用データファイルには画像が166枚、不良胚の学習用のデータファイルには画像が123枚。
合計289枚あります。

ターミナルで実行すると、学習した枚数が125枚と表示される。(テスト用データを20枚枚に設定)

実現したいこと

289枚全て用いたい。
（素人質問で恐縮です。）

発生している問題・エラーメッセージ

Epoch 28/30
125/125 [==============================] - 5s 39ms/step - loss: 0.0474 - accuracy: 0.9882
Epoch 29/30
125/125 [==============================] - 5s 39ms/step - loss: 0.0319 - accuracy: 0.9915
Epoch 30/30
125/125 [==============================] - 5s 38ms/step - loss: 0.0612 - accuracy: 0.9834
1/1 [==============================] - 0s 80ms/step
判別した画像 >>> ./bad_judge/IMG_0813.jpeg
判別精度[[良好,不良]] >>> [[0.35066244 0.7052223 ]]
判別結果 >>> 不良胚

該当のソースコード

import cv2
import sys
from PIL import Image
import os
import tensorflow as tf
import datetime
import random
import glob
import numpy as np
import h5py
from PIL import ImageFile
import keras
from keras.models import Sequential
from keras.layers import Convolution2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras.optimizers import RMSprop
from keras.utils import np_utils
from keras.models import load_model
from keras.callbacks import EarlyStopping
from tensorflow.keras.utils import plot_model, to_categorical 
from tensorflow.keras import datasets, layers, models

#画像の読み込み

datadir='./'

# indexを教師ラベルとして割り当て(0にはgod、1にはbad)
classes = ["god", "bad"]
num_classes = len(classes)
image_size = 64
num_testdata = 20

X_train = []
X_test  = []
y_train = []
y_test  = []

for index, classlabel in enumerate(classes):
 
  #学習用ファイルのインポート
    photos_dir = os.path.join(datadir, f"{classlabel}_learn")
    files = glob.glob(os.path.join(photos_dir, "*.jpg"))
   
    for i, file in enumerate(files):
        image = Image.open(file)
        image = image.convert("RGB")
        image = image.resize((image_size, image_size))
        data = np.asarray(image)
    
        if i < num_testdata:
            X_test.append(data)
            y_test.append(index)
        else:

            for angle in range(-20, 20, 5):

                img_r = image.rotate(angle)
                data = np.asarray(img_r)
                X_train.append(data)
                y_train.append(index)
                # FLIP_LEFT_RIGHT　は 左右反転
                img_trains = img_r.transpose(Image.FLIP_LEFT_RIGHT)
                data = np.asarray(img_trains)
                X_train.append(data)
                y_train.append(index) 

X_train = np.asanyarray(X_train)
X_test  = np.asanyarray(X_test)
y_train = np.asanyarray(y_train)
y_test  = np.asanyarray(y_test)

xy = (X_train, X_test, y_train, y_test)
np.save('./imori.npy', xy)
classes = ["god", "bad"]
num_classes = len(classes)
image_size = 64

#データを読み込む
def load_data():
    X_train, X_test, y_train, y_test = np.load('./imori.npy', allow_pickle=True)
    X_train = X_train.astype("float") / 255
    X_test  = X_test.astype("float") / 255
    y_train = np_utils.to_categorical(y_train, num_classes)
    y_test  = np_utils.to_categorical(y_test, num_classes)

    return X_train, y_train, X_test, y_test

#モデルの学習
def train(X, y, X_test, y_test):
    model = Sequential()

    #conv2D(64,(3,3)) →3✖️3のフィルタを64枚使う
    model.add(Convolution2D(64,3, 3, padding='same',input_shape=X.shape[1:]))
    model.add(Activation('relu'))
    model.add(Convolution2D(64,(3, 3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2,2)))
    model.add(Dropout(0.1))

    model.add(Convolution2D(128,3, 3, padding='same'))
    model.add(Activation('relu'))
    model.add(Convolution2D(128,(3, 3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2,2)))
    model.add(Dropout(0.1))

    model.add(Flatten())
    model.add(Dense(256))
    model.add(Activation('relu'))
    model.add(Dropout(0.5))
    model.add(Dense(2)) # 識別のため、２クラス分類のため2を指定
    model.add(Activation('sigmoid'))


 # HDF5ファイルにKerasのモデルを保存
    #ls:学習率(一度にどのくらいパラメータを変化させるか) decay:各更新の学習減衰率
    adam = RMSprop(lr=0.001, decay=1e-6)
    model.compile(loss='categorical_crossentropy',optimizer=adam,metrics=['accuracy'])
    #学習回数を設定
    model.fit(X, y, batch_size=32, epochs=30) 

    # HDF5ファイルにKerasのモデルを保存
    model.save('./cnn.h5')
    
    

    return model

def main():

#読み込み
    X_train, y_train, X_test, y_test = load_data()
# モデルの学習
    model = train(X_train, y_train, X_test, y_test)
main()

#推論
cnn = "./cnn.h5"

#判別したい画像のインポート
#pic = "./god_judge/IMG_0810.jpeg"
pic = "./bad_judge/IMG_0813.jpeg"

imsize = (64, 64)

def load_image(path):
    img = Image.open(path)
    img = img.convert('RGB')
    img = img.resize(imsize)
    img = np.asarray(img)
    img = img / 255.0
    return img

model = load_model(cnn)
img = load_image(pic)

prd = model.predict(np.array([img]))
prelabel = np.argmax(prd, axis=1)
print("判別した画像 >>>", pic)
print("判別精度[[良好,不良]] >>>", prd)

if prelabel == 0:
    print("判別結果 >>> 良好胚")
elif prelabel == 1:
    print("判別結果 >>> 不良胚")

#学習率0.001,epoch30,laern125で3分15秒

補足情報（FW/ツールのバージョンなど）

Macを使用しターミナルで実行。vscでコードを記載

Comments

[meg_]

画像ファイルの拡張子は全て「jpg」ですか？

Answer 1

学習過程における標準出力のn/125はステップ数(a.k.a. 逆伝搬して重みを更新した回数)です．画像枚数ではありません．

質問のコードのうちmodel.fit()において，batch_size = 32としていることから，1ステップにつき32枚の画像が使われます．

さらに，用意したX_trainはオフラインDAの結果，合計3984枚あるはずです．len(X_train)等で確認してみてください．

ここで，len(X_train) / batch_size = 3984 / 32 = 124.5であることから，124ステップはbatch_size = 32で学習し，残りの1ステップはbatch_size = 16で学習することで，用意したすべてのX_trainを利用することになっています．

Comments

[jbpb0]

> 合計3984枚あるはず

> 良好胚の学習用データファイルには画像が166枚、不良胚の学習用のデータファイルには画像が123枚。

のそれぞれから

> テスト用データを20枚

を除いた残りが、
(166 - 20) + (123 - 20) = 249枚

それを、
「for angle in range(-20, 20, 5):」
のループで水増ししてて、「angle」が-20, -15...10, 15の8種類で、それらを全て左右反転もさせるので2倍になるので、水増し後に学習用画像は
249 * 8 * 2 = 3984枚

ですかね

[ps_aux_grep]

そうですね，質問者がその状態を把握できてないと上の質問が出てくるのかもしれないですね