画像判別、Valueerror: With n_samples=0, test_size=0.25

Question

前提・実現したいこと

プログラミング初心者です。
TensorFlowとKersで機械学習をする方法を学んでいます。
Valueerrorが出て進められないので解決策を教えてください。

発生している問題・エラーメッセージ

エラーメッセージ
(t37) C:\Users\sun20\Documents\flickr>python nn-flower.py
Using TensorFlow backend.
Traceback (most recent call last):
File "nn-flower.py", line 45, in <module>
main()
File "nn-flower.py", line 20, in main
x_train, x_test, y_train, y_test = train_test_split(x, y)
File "C:\Users\sun20\anaconda3\envs\t37\lib\site-packages\sklearn\model_selection_split.py", line 2176, in train_test_split
default_test_size=0.25)
File "C:\Users\sun20\anaconda3\envs\t37\lib\site-packages\sklearn\model_selection_split.py", line 1861, in _validate_shuffle_split
train_size)
ValueError: With n_samples=0, test_size=0.25 and train_size=None, the resulting train set will be empty. Adjust any of the aforementioned parameters.

該当のソースコード

【image_to_db.py】

# 画像をnumpy形式に変換するプログラム
import numpy as np
from PIL import Image
import os, glob, random
# 変数の初期化
photo_size = 150
x = []
y = []
# path以下の画像を最大max_photoだけ読む

def glob_images(path, lael, max_photo):
#ファイル一覧を得る
  files = glob.glob(path + "/*.jpg")
  random.shuffle(files)
#各ファイルを処理
  for i, f in enumerate(files):
    if i >=max_photo: break
#画像ファイルを読む
    img = Image.open(f)
    img = img.convert("RGB")
# 同一サイズにリサイズ
    img = img.resize((photo_size, photo_size))
# numpy形式に変換
    data = np.asarray(img)
    data = data / 256
    data = data.reshape(photo_size, photo_size, 3)
    X.append(data)
    Y.append(label)

# 最大枚数max_photoのデータセットを作る
def make_dataset(max_photo, outfile):
  global X
  global Y
  X = []
  Y = []
# 各画像のフォルダーから写真を読み込む
  glob_images(".sakura-ok", 0, max_photo)
  glob_images(".sunflower-ok", 1, max_photo)
  glob_images(".rose-ok", 2, max_photo)
  X = np.array(X, dtype=np.float32)
  np.savez(outfile, x=x, y=y)
  print("saved:" + outfile)

# データセットを2種類作成する
make_dataset(100, "photo-min.npz")
make_dataset(300, "photo.npz")

------------------------------------------------------------------------------------------------------

【nn-flower.py】

from sklearn.model_selection import train_test_split
from keras.models import Sequential
from keras.layers import Activation, Dropout, Dense
from keras.utils import np_utils
import numpy as np

# 変数の宣言
classes = 3 
data_size = 150 * 150 * 3

#　データを学習しモデルを評価する
def main():
  #データの読み込み
  data = np.load("./photo-min.npz")
  x = data["x"]
  y = data["y"]
  #データを２次元に変形する
  x = np.reshape(x, (-1, data_size))
  #訓練データとテストデータに分類
  x_train, x_test, y_train, y_test = train_test_split(x, y)
  # モデルを訓練し評価
  model = train(x_train, y_train)
  model_eval(model, x_test, y_test)

# モデルを構築しデータを学習する
def train(x, y):
  #モデルの構築
  model = Sequential()
  model.add(Dense(units=64, input_dim=(data_size)))
  model.add(Activation('relu'))
  model.add(Dense(units=classes))
  model.add(Activation('softmax'))
  model.compile(loss='sparse_categorical_crossentropy',
    optimizer='sgd', metrics=['accuracy'])
  model.fit(x, y, epochs=60)
  return model

# モデルを評価する
def model_eval(model, x_test, y_test):
  score = model.evaluate(x_test, y_test)
  print('loss=', score[0])
  print('accuracy=', score[1])

if __name__ == "__main__":
  main()

試したこと

同じエラーについて調べましたが解決できませんでした。

補足情報（FW/ツールのバージョンなど）

python3.7.10

Answer 1

推測ですが、カレントディレクトリの下に

".sakura-ok"
".sunflower-ok"
".rose-ok"

というサブディレクトリがないか、あるいはその中身が空です。

どこに画像ファイルがあるかを確認して、そのパスを正しく指定しましょう。

Comments

[退会済みユーザー]

回答ありがとうございます。
C:\Users\sun20\Documents\flickrに、sakura-ok　sunflower-ok　rose-okフォルダがあり、
その中にそれぞれ画像が入っているのですが、この場合はどのようにパスを指定すればよいですか？

[ppaul]

".sakura-ok"ではなく、"sakura-ok"なのですね。

glob_images("C:\Users\sun20\Documents\flickr\sakura-ok", 0, max_photo)
glob_images("C:\Users\sun20\Documents\flickr\sunflower-ok", 1, max_photo)
glob_images("C:\Users\sun20\Documents\flickr\rose-ok", 2, max_photo)
に変更してみてください。

[退会済みユーザー]

".sakura-ok"の部分は私が入力ミスをしていました。すみませんでした。

教えていただいたコードに書き換えてphoto.npzとphoto-min.npzを再生成し、
nn-flower.pyを実行しましたが同様のエラーが出ました。

(t37) C:\Users\sun20\Documents\flickr>python nn-flower.py
Using TensorFlow backend.
Traceback (most recent call last):
File "nn-flower.py", line 45, in <module>
main()
File "nn-flower.py", line 20, in main
x_train, x_test, y_train, y_test = train_test_split(x, y)
File "C:\Users\sun20\anaconda3\envs\t37\lib\site-packages\sklearn\model_selection\_split.py", line 2176, in train_test_split
default_test_size=0.25)
File "C:\Users\sun20\anaconda3\envs\t37\lib\site-packages\sklearn\model_selection\_split.py", line 1861, in _validate_shuffle_split
train_size)
ValueError: With n_samples=0, test_size=0.25 and train_size=None, the resulting train set will be empty. Adjust any of the aforementioned parameters.

[ppaul]

def glob_imagesの最後の行にprint(len(x))を入れて何が出力されるか見てみてください。
おそらく0が表示されると思いますが、念のために確認しておいてください。

[退会済みユーザー]

返信が遅くなり申し訳ありません。
print(len(x))を入れると確かに０がたくさん表示されました。

[ppaul]

ということは画像ファイルを読み込めていないと言うことですね。

import glob
print(glob.glob("C:\Users\sun20\Documents\flickr\sakura-ok/*.jpg"

とやると何が表示されますか。

[退会済みユーザー]

'C:\Users\sun20\Documents\flickr\sakura-ok\13536993244.jpg', 'C:\Users\sun20\Documents\flickr\sakura-ok\13561856175.jpg',
～～～～～～～～～～～～～～～～～～～～～省略～～～～～～～～～～～～～～～～～～～～～～～～
'C:\Users\sun20\Documents\flickr\sakura-ok\9834264523.jpg', 'C:\Users\sun20\Documents\flickr\sakura-ok\99328601.jpg']
saved:photo-min.npz
saved:photo.npz
このように表示されました。

[退会済みユーザー]

image_to_db.pyのxとyが大文字になっていて、それを直したらうまく動作しました。
ケアレスミスでお時間を奪ってしまいすみませんでした。