YOLOの学習曲線について

Question

前提

機械学習の物体検出に使うyoloに関する質問です。

オリジナルのデータセットを用いて学習後にprecisionとrecallのグラフが出ると思います。
Precision や Recall の学習曲線は訓練データと検証データどちらで計算して出力しているのでしょうか？

計算していることがわかるyolov7に使用するファイルなどありましたら教えていただきたいです。
https://github.com/WongKinYiu/yolov7

実現したいこと

Precision や Recall の学習曲線は訓練データと検証データどちらで計算しているか確認する

試したこと

yolov7/utils/loss.py

補足情報（FW/ツールのバージョンなど）

学習にはyolov7のtrain.pyを使用しています。

Comments

[jbpb0]

「解決済」にしてください

Answer 1

Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.38453
とあります。

ここから進めていきます。

1. どこかにprint("Recall")みたいな関数があると仮定します。
2. リポジトリでRecallという文字列を検索します。
3. リポジトリのmetrics.pyのap_per_classという関数に行きつきます。
4. リポジトリでap_per_classという文字列を検索します。
5. リポジトリのtest.pyに行きつきます。
6. 引数のstatsを使ってデータを捌いていることが分かります。
7. stats = [np.concatenate(x, 0) for x in zip(*stats)] # to numpy…もう少し上を探る必要がありそうです。
8. stats.append((correct.cpu(), pred[:, 4].cpu(), pred[:, 5].cpu(), tcls))…これらの値がstatsとなり、metricsとしてprintされているようです。これは、具体的には、stats.append(正解,予測値)という構造となっている関数とみなすことができそうです。

「じゃあこの予測値はどこから来た？」を考えます。

1. for si, pred in enumerate(out):でpredが出現しています。outの由来が分かれば良さそうです。
2. out = non_max_suppression(out, conf_thres=conf_thres, iou_thres=iou_thres, labels=lb, multi_label=True)でoutを入れてoutを出していますので、もう少し上を探る必要がありそうです。
3. out, train_out = model(img, augment=augment) # inference and training outputsつまり、生イメージを入れて、データ増強をしたものをモデルにぶち込んでいる構図となります。このimgの由来が質問者さんの答えっぽそうです。
4. for batch_i, (img, targets, paths, shapes) in enumerate(tqdm(dataloader, desc=s)):とありますので、dataloaderからimgを切り出していることが分かります。
5. モードの切り替えに従ってデータを切り出しているようです。
6. 当たり前と言えば当たり前ですが、コードの引数に行きつきます。parser.add_argument('--task', default='val', help='train, val, test, speed or study')とあり、特に指定がなければopt.task = 'val'が指定されます。

もうわかりましたね？

Precision や Recall の学習曲線は訓練データと検証データどちらで計算しているか確認する
test.pyを走らせるとopt.task = 'val'が有効になり**、データローダーにバリデーションデータが読み込まれ、Recall云々がバリデーションデータを基に**算出されます。

Comments

[nbvcc]

お忙しい中ご対応いただきありがとうございます。
precisionは訓練データ、Recallは検証データを基に算出しているということでしょうか？

[退会済みユーザー]

precisionもrecallも
https://github.com/WongKinYiu/yolov7/blob/55b90e111984dd85e7eed327e9ff271222aa8b82/test.py#L104
のdataloaderに突っ込むデータ次第で変わります。そこにTrainのデータを入れれたTrainの結果が、TestならTestの、ValidationならValidationの結果が出ます。あなたが何の引数を指定してどのプログラムを走らせたか次第です。ただ、既定であればValidationが走る、という話です。

[nbvcc]

ありがとうございます！