python 学習用データの保存がされない

Question

前提・実現したいこと

学習データを元に画像判別をしたいですが、np.saveをした後にコンパイル用プログラムでnpyを読み込み、念の為

print(X_train.shape)
print(y_train.shape)
print(X_test.shape)
print(y_test.shape)

をしてみると

(0,)
(0,)
(0,)
(0,)

となってしまいます。
正しく学習できてないようなので治したいです

該当のソースコード

from PIL import Image
import os, glob
import numpy as np
import random, math

#学習用画像が保存されているディレクトリ
train_dir = "E:\python\monster_py\monster_py"

#テスト用画像が保存されているディレクトリ
test_dir = "E:\python\dis_download"

# モンスターの種類
categories = ["モンスターエナジー","モンスターエナジーパイプラインパンチ",
"モンスターキューバリブレ","モンスターエナジーアブソリュートリーゼロ"
,"モンスターエナジーカオス","モンスターエナジーウルトラパラダイス"
,"モンスターエナジーウルトラ"]
# 画像データ用配列
X = []
# ラベルデータ用配列
Y = []

#画像データごとにadd_sample()を呼び出し、X,Yの配列を返す関数
def make_sample(files):
    global X, Y
    X = []
    Y = []
    for cat, fname in files:
        add_sample(cat, fname)
    return np.array(X), np.array(Y)

def add_sample(cat, fname):
    img = Image.open(fname)
    img = img.convert("RGB")
    img = img.resize((150,150))
    data = np.asarray(img)
    X.append(data)
    Y.append(cat)

#学習用画像
trainfiles = []
#テスト用画像
testfiles = []

for idx, cat in enumerate(categories):
    image_dir = train_dir + "\" + cat
    files = glob.glob(image_dir + "\*.jpg")
    for f in files:
        trainfiles.append((idx, f))

for idx, cat in enumerate(categories):
    image_dir = test_dir + "\" + cat
    files = glob.glob(image_dir + "\*.jpg")
    for f in files:
        testfiles.append((idx, f))

X_train, y_train = make_sample(trainfiles)
X_test, y_test = make_sample(testfiles)
xy = (X_train, X_test, y_train, y_test)
#データを保存する
np.save("E:\python\monster_data.npy", xy)

###参考
https://qiita.com/kojikoji_ksnv/items/12dfe9075cb1dd3afe59

Answer 1

正しく学習されていないというより、プログラムが根本的に間違えているのではないですか？

shapeが(0,)になっている、X_trainとy_trainは、make_sampleの返り値です。

X_train, y_train = make_sample(trainfiles)

そこで、make_sampleのコード(下記)を見ると、空リスト XとYが作られて、それをnp.arrayにしたものが返り値になっています。

def make_sample(files):
    global X, Y
    X = []
    Y = []
    for cat, fname in files:
        add_sample(cat, fname)
    return np.array(X), np.array(Y)

結果として、X_trainとY_trainの値は、np.array([])となります。

どこにも、学習とか、プログラムによる処理とか呼べる部分がありません。
なにか間違ったところから、不適切なコードを持ってきたのではないですか？

Comments

[morisoh]

質問文下記にある参考のサイトからディレクトリや種類だけ変更していました。
def make_sampleの部分を変えたらいけそうですね、ありがとうございます。

[morisoh]

ベストアンサー後に失礼します
https://teratail.com/questions/177659　にあるようにX,Yはglobal宣言をしているので空ではないと思うのですがどうでしょうか、ご教授頂けると幸いです

Answer 2

xy = (X_train, X_test, y_train, y_test)
#データを保存する
np.save("E:\python\monster_data.npy", xy)

このままだとタプルで保存していることになってしまいます。4 つ別々のファイルで保存するかもしくは pickle を使うか検討しましょう。

Comments

[morisoh]

個別に保存する方法でやってみましたが、治りませんでした
学習用コードを
```
x = (X_train)
y = (X_test)
a = (y_train)
b = (y_test)
#データを保存する
np.save("E:\python\monster_data_X_train.npy", x)
np.save("E:\python\monster_data_X_test.npy", y)
np.save("E:\python\monster_data_Y_train.npy", a)
np.save("E:\python\monster_data_Y_test.npy", b)
```
とし、np.loadを
```
X_train = np.load("E:\python\monster_data_X_train.npy")
X_test = np.load("E:\python\monster_data_X_test.npy")
y_train = np.load("E:\python\monster_data_Y_train.npy")
y_test = np.load("E:\python\monster_data_Y_test.npy")
```
としました

[A_kirisaki]

coco_bauer さんの言うとおり他の部分が良くないようですね。少しずつ試してみたらよいのでは？

[morisoh]

ありがとうございます。少々急ぎ目でやっていたのでひとつずつ確認しながら試してみます