YOLOv3 独自学習データについて

今現在、Yolov3 (Darknet)にて、独自データの学習をしています。
持っているパソコンのスペックがあまりよくないので、Google Colaboratoryにて環境を構築して学習をしています。

説明が下手で申し訳ないのですが、学習途中の重みファイル(yolo_xxx.weights)が出力されると思うんですが、ログのavgの値を見ると、0.1付近をさまよっていました。そこで、Google Colaboratory上で、試しに新しい画像を用いて画像検出にかけてみたんですが、うまく検出してくれました。

その後、Google Colaboratoryの12時間が来るので、自分のPC上に先の重みファイルをダウンロードして、同じ設定で画像検出したところ、うまくいきませんでした。

どううまくいかなかったというと、いろいろなものがすべて100％となっていました。そこで、再度Google Colaboratory上に環境を作り、その重みファイルから学習を再開すると、ログのavgの値が、1700台にまで落ちてしまっていました。

全く原因もわからず、途方に暮れています。どなたか詳しい方、ご教授願えると幸いです。よろしくお願いします。。