データセットの推論用画像と学習用画像を分ける方法

Question

前提・実現したいこと

今までpytorchを使った2値分類のデータセット内の学習用と推論用の画像を分ける方法として、８割を学習用２割を推論用で分けていました。

def make_filepath_list():
    """
    学習データ、検証データそれぞれのファイルへのパスを格納したリストを返す
    
    Returns
    -------
    train_file_list: list
        学習データファイルへのパスを格納したリスト
    valid_file_list: list
        検証データファイルへのパスを格納したリスト
    """
    train_file_list = []
    valid_file_list = []

    for top_dir in os.listdir('/home/es1video5/ドキュメント/data/Images/'):
        file_dir = os.path.join('/home/es1video5/ドキュメント/data/Images/', top_dir)
        file_list = os.listdir(file_dir)

        #8割を学習データ、2割を検証データとする
        num_data = len(file_list)
        num_split = int(num_data * 0.8)

        train_file_list += [os.path.join('/home/es1video5/ドキュメント/data/Images', top_dir, file).replace('\', '/') for file in file_list[:num_split]]
        valid_file_list += [os.path.join('/home/es1video5/ドキュメント/data/Images', top_dir, file).replace('\', '/') for file in file_list[num_split:]]
    
    return train_file_list, valid_file_list

# 画像データへのファイルパスを格納したリストを取得する
train_file_list, valid_file_list = make_filepath_list()

print('学習データ数 : ', len(train_file_list))
 #先頭3件だけ表示
print(train_file_list[:3])

print('検証データ数 : ', len(valid_file_list))
 #先頭3件だけ表示
print(valid_file_list[:3])

ディレクトリは
Image
-original
-modified
となっています。（originalとmodifiedの２値分類）

今回新たに
Image
-train
---original
-valid
----modified
とわけて自身で学習用と推論用の画像を分けたいのですが
上に書いたコードをどのように変更したら良いでしょうか？

試したこと

for top_dir in os.listdir('/home/es1video5/ドキュメント/data/Images1/'):
        file_dir = os.path.join('/home/es1video5/ドキュメント/data/Images1/', top_dir)
        file_list = os.listdir(file_dir)

        # 8割を学習データ、2割を検証データとする
        num_data = len(file_list)
        num_split = int(num_data * 0.8)

        train_file_list += [os.path.join('/home/es1video5/ドキュメント/data/Images1', top_dir, file).replace('\', '/') for file in file_list[:num_split]]
        valid_file_list += [os.path.join('/home/es1video5/ドキュメント/data/Images1', top_dir, file).replace('\', '/') for file in file_list[num_split:]]
    
    return train_file_list, valid_file_list

上の部分を

      

        train_file_list = os.path.join('/home/es1video5/ドキュメント/data/Images1/train)
        valid_file_list = os.path.join('/home/es1video5/ドキュメント/data/Images1/valid)
    
    

と変えましたが、学習用データ数と検証用データ数の枚数がフォルダの個数になってしまい画像枚数になっていなかったのでうまく行きませんでした。

Comments

[退会済みユーザー]

> （originalとmodifiedの２値分類）
> 今回新たに
> Image
> -train
> ---original
> -valid
> ----modified
originalというラベル(例えば0)と、modifiedというラベルがあって(例えば1)、
trainフォルダにはoriginal(例えば0)、validにはmodifiedだけを入れたい、ということでしょうか？