データセットの推論用画像と学習用画像を分ける方法

前提・実現したいこと

今までpytorchを使った2値分類のデータセット内の学習用と推論用の画像を分ける方法として、８割を学習用２割を推論用で分けていました。

python
1def make_filepath_list():
2    """
3    学習データ、検証データそれぞれのファイルへのパスを格納したリストを返す
4    
5    Returns
6    -------
7    train_file_list: list
8        学習データファイルへのパスを格納したリスト
9    valid_file_list: list
10        検証データファイルへのパスを格納したリスト
11    """
12    train_file_list = []
13    valid_file_list = []
14
15    for top_dir in os.listdir('/home/es1video5/ドキュメント/data/Images/'):
16        file_dir = os.path.join('/home/es1video5/ドキュメント/data/Images/', top_dir)
17        file_list = os.listdir(file_dir)
18
19        #8割を学習データ、2割を検証データとする
20        num_data = len(file_list)
21        num_split = int(num_data * 0.8)
22
23        train_file_list += [os.path.join('/home/es1video5/ドキュメント/data/Images', top_dir, file).replace('\', '/') for file in file_list[:num_split]]
24        valid_file_list += [os.path.join('/home/es1video5/ドキュメント/data/Images', top_dir, file).replace('\', '/') for file in file_list[num_split:]]
25    
26    return train_file_list, valid_file_list
27
28# 画像データへのファイルパスを格納したリストを取得する
29train_file_list, valid_file_list = make_filepath_list()
30
31print('学習データ数 : ', len(train_file_list))
32 #先頭3件だけ表示
33print(train_file_list[:3])
34
35print('検証データ数 : ', len(valid_file_list))
36 #先頭3件だけ表示
37print(valid_file_list[:3])

ディレクトリは
Image
-original
-modified
となっています。（originalとmodifiedの２値分類）

今回新たに
Image
-train
---original
-valid
----modified
とわけて自身で学習用と推論用の画像を分けたいのですが
上に書いたコードをどのように変更したら良いでしょうか？

試したこと

python
1for top_dir in os.listdir('/home/es1video5/ドキュメント/data/Images1/'):
2        file_dir = os.path.join('/home/es1video5/ドキュメント/data/Images1/', top_dir)
3        file_list = os.listdir(file_dir)
4
5        # 8割を学習データ、2割を検証データとする
6        num_data = len(file_list)
7        num_split = int(num_data * 0.8)
8
9        train_file_list += [os.path.join('/home/es1video5/ドキュメント/data/Images1', top_dir, file).replace('\', '/') for file in file_list[:num_split]]
10        valid_file_list += [os.path.join('/home/es1video5/ドキュメント/data/Images1', top_dir, file).replace('\', '/') for file in file_list[num_split:]]
11    
12    return train_file_list, valid_file_list

上の部分を

python
1
2
3      
4
5        train_file_list = os.path.join('/home/es1video5/ドキュメント/data/Images1/train)
6        valid_file_list = os.path.join('/home/es1video5/ドキュメント/data/Images1/valid)
7    
8

と変えましたが、学習用データ数と検証用データ数の枚数がフォルダの個数になってしまい画像枚数になっていなかったのでうまく行きませんでした。

退会済みユーザー

2021/10/01 23:31

> （originalとmodifiedの２値分類） > 今回新たに > Image > -train > ---original > -valid > ----modified originalというラベル(例えば0)と、modifiedというラベルがあって(例えば1)、 trainフォルダにはoriginal(例えば0)、validにはmodifiedだけを入れたい、ということでしょうか？