機械学習用データセットのフォルダ分け、読み込み

Question

自作の画像を使ってCNNで機械学習をしています。現在のディレクトリ構成は

・main.py
・training.py
・image--a--画像フォルダ（クラス分の数）

となっており、main.pyでimage/a/のフォルダ内にある全ての画像フォルダ内の画像にそれぞれラベルをつけた後、.npz形式に出力します。画像フォルダはクラス分存在します。
その.npzファイルをあとで読み込み、ランダムにシャッフルして訓練、テストを行っています（現在の動作はうまくいっているので、コードは問題ないはずです）。

この形式を、
image--train--画像フォルダ（クラス分の数）
image--test --画像フォルダ（クラス分の数）
とし、あらかじめtrainとtestが分かれた状態で学習をさせるよう変更したいです。
というのもクラスによって水増し画像を入れたり入れなかったり調整したいと考えているからです。test側の画像には水増し画像は入れませんので、train_test_splitを使って混ぜてしまうのではなく、事前に分けておくべきだと考えました。

複数npzファイルを生成して繋げればよいのでしょうか？ご教授いただきたいです。

コード
#main.py
import os, glob,random
import cv2
import numpy as np 
folda="a"
outfile = "image_2/deepl_"+folda+".npz"
max_photo=10000
photo_size_t=400
photo_size_y=400
x=[]
y=[]
path="./image_2/"+folda
files =os.listdir(path)
files_dir=[f for f in files if os.path.isdir(os.path.join(path,f))]

def main():
    n=0
    for i in files_dir:
        glob_files(path+"/"+i,n)
        n+=1
    np.savez(outfile,x=x,y=y)
    print("保存しました"+outfile,len(x))
    

def glob_files(path,label):
    files=glob.glob(path+"/*.png")
    random.shuffle(files)
    num=0
    for f in files:
        if num >=max_photo:break
        num+=1
        img=cv2.imread(f)
        img=cv2.resize(img,(photo_size_t,photo_size_y))
        img=cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
        img=np.asarray(img)
        x.append(img)
        y.append(label)
    print(num)
    print(files)

if __name__=="__main__":
    main()

コード
#training.py
import cnn_model
import keras
import matplotlib.pyplot as plt
import numpy as np
from sklearn.model_selection import train_test_split
import main
im_rows=400
im_cols=400
im_color=3
in_shape=(im_rows,im_cols,im_color)
nb_classes=3
photos=np.load("image_2/deepl_"+main.folda+".npz")
x=photos["x"]
y=photos["y"]
x=x.reshape(-1,im_rows,im_cols,im_color)
x=x.astype("float32")/255

y=keras.utils.np_utils.to_categorical(y.astype("int32",nb_classes))

x_train,x_test,y_train,y_test=train_test_split(x,y,train_size=0.8,random_state=0)

model=cnn_model.get_model(in_shape,nb_classes)

hist=model.fit(x_train,y_train,batch_size=10,epochs=50,verbose=1,validation_split=0.1,validation_data=(x_test,y_test))
score=model.evaluate(x_test,y_test,verbose=1)
print("正解率=",score[1],"loss=",score[0])
print(hist)
plt.plot(hist.history["accuracy"])
plt.plot(hist.history["val_accuracy"])
plt.title("Accuracy")
plt.legend(["train","test"],loc="upper left")
plt.savefig("accc_valacc.png")
plt.show()
plt.plot(hist.history["loss"])
plt.plot(hist.history["val_loss"])
plt.title("Loss")
plt.legend(["train","test"],loc="upper left")
plt.savefig('loss-valloss.png')

modelname="./image_2/deepl_"+main.folda+".hdf5"
model.save_weights(modelname)

Answer 1

npzファイルをtrainとtestそれぞれで作成し、training.pyで読み込む際にそれぞれのnpzファイルを指定することで解決しました。