Pythonによるデータセットのテストデータの作成方法

Question

#前提・実現したいこと
Pythonと自分で作成したデータセットを用いて、metric learningによる異常検知を行いたいと考えております。

#発生している問題・検討していること
オリジナルの画像からデータセットを作成する方法
上記のサイト様を参考にmnistデータのようなデータセットを作成しております。サイト様のおかげでなんとか自力でトレーニングデータの作成を行うことができたのですが、トレーニングデータと一緒にテストデータ（x_test,y_test）を作成したいと思い、調査を行っているのですが、いまだにわかっていない状況です。

#コード

import matplotlib.pyplot as plt
import os
import cv2
import random
import numpy as np

DATADIR = "/Users/user name/desktop/Mydataset/png"
CATEGORIES = ["bell", "call"]
training_data = []
def create_training_data():
    for class_num, category in enumerate(CATEGORIES):
        path = os.path.join(DATADIR, category)
        for image_name in os.listdir(path):
            try:
                img_array = cv2.imread(os.path.join(path, image_name),)  # 画像読み込み
                img_resize_array = cv2.resize(img_array, (394, 248))  # 画像のリサイズ
                training_data.append([img_resize_array, class_num])  # 画像データ、ラベル情報を追加
            except Exception as e:
                pass
create_training_data()
random.shuffle(training_data)  # データをシャッフル
X_train = []  # 画像データ
y_train = []  # ラベル情報
# データセット作成
for feature, label in training_data:
    X_train.append(feature)
    y_train.append(label)
# numpy配列に変換
X_train = np.array(X_train)
y_train = np.array(y_train)

# データセットの確認
for i in range(0, 4):
    print("学習データのラベル：", y_train[i])
    plt.subplot(2, 2, i+1)
    plt.axis('off')
    plt.title(label = 'bell' if y_train[i] == 0 else 'call')
    img_array = cv2.cvtColor(X_train[i], cv2.COLOR_BGR2RGB)
    plt.imshow(img_array)
plt.show()

#試していること
自前のデータセットの作成方法について
Webデータレポート 生活音を機械学習してみた
上記のサイト様を参考にテストデータを作成できないかと思い、ただいま調査を行っております。しかし、どのようなコードをかけば良いのか分からない状況です。現在の作業ディレクトリのpngフォルダのなかにbellフォルダとcallフォルダがあるのですが、これとは別にbell_testフォルダ、call_testフォルダ（図1）が必要となるのかもわかっていない状況です。図々しいとは思いますが、何かアドバイスをいただけたらと思います。

作業の様子（図1）
pngフォルダ（作業ディレクトリ）
│
├bellフォルダ
│ └b1.png,b2.png…
│
└callフォルダ
.　└c1.png,c2.png…

#補足
使っているPCはmacOS Catalina バージョン10.15.5
Pythonのバージョンは3.6.5です

Comments

[aokikenichi]

学習データとテストデータが必要なだけでフォルダなどちらでも構わないと思いますが。
通常は学習データを一定の割合で分けて、例えば
学習データ 7
テストデータ 3
の比率と分ける等となるかと思いますが、こういった内容のご質問でしょうか。

[maguro2020]

ご回答いただきありがとうございます。aokikenichi様。
自分の知識不足のせいでわかりづらい質問となってしまい申し訳ありません。aokikenichi様のおっしゃる通りでございます。ただ分けるにはどういうコードを書けばいいのか、もしくはコードを全て書き直す必要があるのか、わからない状況となっております。

[meg_]

ファイル名一覧を取得して、そこからランダムに訓練用とテスト用に分けて、テスト用の分をフォルダ移動すれば良いかと思います。

具体的なフォルダ構成については機械学習のコードによって変わるかと思います。

[maguro2020]

ご回答いただきありがとうございます。meg様。
ご連絡が大変遅くなってしまい誠に申し訳ありませんでした。meg様のアドバイスを元に自分のコードを改良したいと思います。

Answer 1

追記・修正の依頼案でのご提案の方法でもよいですが教師データの比率が等しくなるようにするのが
基本的な考え方なので

機械学習　トレーニングデータの分割と学習・予測・検証

など参考になさってください。

Comments

[maguro2020]

ご回答いただきありがとうございます。aokikenichi様。
上記のサイト様を参考にもう少し自分のコードを改良したいと思います。