YOLO v7 とVOTTを利用した物体検出でRuntimeErrorが出てしまう

Question

前提

https://qiita.com/r-osugi/items/60dd2c77ff614dd6e01d
https://dev.classmethod.jp/articles/yolov7-train-with-customize-dataset/

こちらの記事を参考に自分で用意した画像から任意の物体を検出したいと考えています。
まずvottでアノテーションしたデータをroboflowにてYOLO v7 PyTorch形式に変換し、google colaboratoryで下記の文を実行しようとしました。

しかしRuntimeErrorが返されてしまい、一応出力された.ptファイルで推論を実行してみたのですが機能しませんでした。
なぜRuntimeErrorが出るのか教えていただきたいです。

実現したいこと

発生している問題・エラーメッセージ

このような文と共にさいごRuntimeError: indices should be either on cpu or on the same device as the indexed tensor (cpu)と表示されてしまいます。

Epoch   gpu_mem       box       obj       cls     total    labels  img_size
  0% 0/1 [00:05<?, ?it/s]
Traceback (most recent call last):
  File "train_aux.py", line 612, in <module>
    train(hyp, opt, device, tb_writer)
  File "train_aux.py", line 362, in train
    loss, loss_items = compute_loss_ota(pred, targets.to(device), imgs)  # loss scaled by batch_size
  File "/content/drive/MyDrive/Colab Notebooks/yolo/yolov7/utils/loss.py", line 1206, in __call__
    bs_aux, as_aux_, gjs_aux, gis_aux, targets_aux, anchors_aux = self.build_targets2(p[:self.nl], targets, imgs)
  File "/content/drive/MyDrive/Colab Notebooks/yolo/yolov7/utils/loss.py", line 1559, in build_targets2
    from_which_layer = from_which_layer[fg_mask_inboxes]

RuntimeError: indices should be either on cpu or on the same device as the indexed tensor (cpu)

該当のソースコード

from google.colab import drive
drive.mount('/content/drive')

%cd /content/drive/My\ Drive/Colab\ Notebooks
%mkdir yolo
%cd yolo

!git clone https://github.com/WongKinYiu/yolov7
%cd yolov7

# google colaboratoryで実行しようとすると衝突が発生するようなので/yolov7/requirements.txt の中身を下記の文に変更しました。

# # Usage: pip install -r requirements.txt

# # Base ----------------------------------------
# matplotlib>=3.2.2
# numpy>=1.18.5
# opencv-python>=4.1.1
# Pillow>=7.1.2
PyYAML>=5.3.1
# requests>=2.23.0
# scipy>=1.4.1
# torch>=1.7.0,!=1.12.0
# torchvision>=0.8.1,!=0.13.0
# tqdm>=4.41.0
# protobuf<4.21.3

# # Logging -------------------------------------
# tensorboard>=2.4.1
# # wandb

# # Plotting ------------------------------------
# pandas>=1.1.4
# seaborn>=0.11.0

# # Export --------------------------------------
# # coremltools>=4.1  # CoreML export
# # onnx>=1.9.0  # ONNX export
# # onnx-simplifier>=0.3.6  # ONNX simplifier
# # scikit-learn==0.19.2  # CoreML quantization
# # tensorflow>=2.4.1  # TFLite export
# # tensorflowjs>=3.9.0  # TF.js export
# # openvino-dev  # OpenVINO export

# # Extras --------------------------------------
# ipython  # interactive notebook
# psutil  # system utilization
# thop  # FLOPs computation
# # albumentations>=1.0.3
# # pycocotools>=2.0  # COCO mAP
# # roboflow

#変更終了


!pip install -r requirements.txt



#用意された画像と構築済みモデルでお試し
!wget https://github.com/WongKinYiu/yolov7/releases/download/v0.1/yolov7-e6.pt -P ./checkpoints
!python detect.py --source inference/images/horses.jpg \
  --weights checkpoints/yolov7-e6.pt \
  --conf 0.25 --img-size 1280 --device 0
from IPython.display import Image
Image("/content/drive/MyDrive/Colab Notebooks/yolo/yolov7/runs/detect/exp/horses.jpg")
#ここまでは上手くいけました


mkdir dataset

# roboflowにて変換したアノテーションデータをアップロード、ファイル構造は以下
yolov7/
      ├─ dataset/
      │  ├─  train/
      │  │   ├─ images/
      │  │   │  ├─ XXX.png
      │  │   │  └─ ...
      │  │   └─ labels/
      │  │      ├─ XXX.txt
      │  │      └─ ...
      │  └─  valid/
      │      ├─ images/
      │      │  ├─ XXX.png
      │      │  └─ ...
      │      └─ labels/
      │         ├─ XXX.txt
      │         └─ ...
      ├─ data
      │  ├─  data.yaml
      │  └─ ...
      └─ ...


# data.yamlの下記文を変更
(変更前)
train: ../train/images
val: ../valid/images
(変更後)
train: /content/drive/MyDrive/Colab Notebooks/yolo/yolov7/dataset/train/images
val: /content/drive/MyDrive/Colab Notebooks/yolo/yolov7/dataset/valid/images
#変更終了

from typing_extensions import dataclass_transform


!python train_aux.py --workers 2 --batch-size 8 \
  --data /content/drive/MyDrive/Colab Notebooks/yolo/yolov7/data/data.yaml \
  --cfg cfg/training/yolov7-e6.yaml \
  --weights 'checkpoints/yolov7-e6.pt' \
  --name yolov7-teibou \
  --hyp data/hyp.scratch.p6.yaml \
  --epochs 10 \
  --device 0

試したこと

python - YOLOv7 - RuntimeError: indices should be either on cpu or on the same device as the indexed tensor (cpu) - Stack Overflow

上記のページで下記のような回答があったので

you have to replace the line in the file yolo7/utils/loss.py
"from_which_layer.append((torch.ones(size=(len(b),)) * i)"
to "from_which_layer.append((torch.ones(size=(len(b),)) * i).to('cuda'))",
and add new line "fg_mask_inboxes = fg_mask_inboxes.to(torch.device('cuda'))"
after "fg_mask_inboxes = matching_matrix.sum(0) > 0.0"
so you need to do it 3 times in the file

loss.pyの"from_which_layer.append((torch.ones(size=(len(b),)) * i)"
を
"from_which_layer.append((torch.ones(size=(len(b),)) * i).to('cuda'))",
に書き換え

"fg_mask_inboxes = fg_mask_inboxes.to(torch.device('cuda'))"
という文を
"fg_mask_inboxes = matching_matrix.sum(0) > 0.0"
の後ろに追加したりもしたのですがRuntimeErrorは改善されませんでした。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

おそらくバージョン違いでエラーが起きているのではないかと思います(詳細まで分かりませんが。。)

自分はtrain_aux.pyを実行する前に以下のバージョンに変えてから実行し問題なく動作しました。
参考url
https://github.com/WongKinYiu/yolov7/issues/1119

!pip install torch==1.12.1
!pip install torchvision==0.13.1