PyTorchとOpenCVを用いて動画からフレーム画像を読み込んで、フレーム画像ごとに推論を行いたいのですが、Dataloaderのnum_workers=1だとUbuntuでは動いていたのですが、Windowsで動作しません。
Dataloaderのnum_workersを0にすると動きますが、遅いので、1でも動くようにしたいです

Python
1# Datasetクラスのgetitem
2    def __getitem__(self, index):
3        ret, self.frame = self.cap.read() ####################
4        self.frame = cv2pil(self.frame)
5        cropped_img = self.transform(self.frame, self.phase)
6        return cropped_img
7
8# Video読み込み
9cap = cv2.VideoCapture(video_path)
10
11# DatasetとDataloader
12        dataset = Dataset(cap, num_frame, transform=Transform(resize, mean, std, x), phase="test")
13        dataloader = torch.utils.data.DataLoader(dataset, batch_size, num_workers=1, pin_memory=True) ####################
14
15# 推論部分
16        with torch.no_grad():
17            for i, inputs in enumerate(tqdm(dataloader, leave=False)): ####################
18                pass

上記のコードを実行すると

Traceback (most recent call last):
  File "2main.py", line 200, in <module>
    make_prob_array(path, p, a, s)
  File "2main.py", line 167, in make_prob_array
    for i, inputs in enumerate(tqdm(dataloader, leave=False)):
  File "C:\Users\mdaik\Anaconda3\lib\site-packages\tqdm\std.py", line 1167, in __iter__
    for obj in iterable:
  File "C:\Users\mdaik\Anaconda3\lib\site-packages\torch\utils\data\dataloader.py", line 279, in __iter__
    return _MultiProcessingDataLoaderIter(self)
  File "C:\Users\mdaik\Anaconda3\lib\site-packages\torch\utils\data\dataloader.py", line 719, in __init__
    w.start()
  File "C:\Users\mdaik\Anaconda3\lib\multiprocessing\process.py", line 105, in start
    self._popen = self._Popen(self)
  File "C:\Users\mdaik\Anaconda3\lib\multiprocessing\context.py", line 223, in _Popen
    return _default_context.get_context().Process._Popen(process_obj)
  File "C:\Users\mdaik\Anaconda3\lib\multiprocessing\context.py", line 322, in _Popen
    return Popen(process_obj)
  File "C:\Users\mdaik\Anaconda3\lib\multiprocessing\popen_spawn_win32.py", line 65, in __init__
    reduction.dump(process_obj, to_child)
  File "C:\Users\mdaik\Anaconda3\lib\multiprocessing\reduction.py", line 60, in dump
    ForkingPickler(file, protocol).dump(obj)
TypeError: can't pickle cv2.VideoCapture objects

(base) C:\Users\mdaik\Documents\program>Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "C:\Users\mdaik\Anaconda3\lib\multiprocessing\spawn.py", line 105, in spawn_main
    exitcode = _main(fd)
  File "C:\Users\mdaik\Anaconda3\lib\multiprocessing\spawn.py", line 115, in _main
    self = reduction.pickle.load(from_parent)
EOFError: Ran out of input

のようなエラーが発生します

Python
1# Datasetのgetitem
2　　print("aaaaaa")
3    def __getitem__(self, index):
4        ret, self.frame = self.cap.read()
5        self.frame = cv2pil(self.frame)
6        cropped_img = self.transform(self.frame, self.phase)
7        return cropped_img
8
9# 推論部分
10　　　　　　　print("bbbbbbbbbbbbbbb")
11            for i, inputs in enumerate(tqdm(dataloader, leave=False)):
12                print("cccccccccccccccccccccccccc")
13                pass

としても"bbbbbbbbbbbbbbb"しかprintされず、for文のところ止まっているようです
解決できる方法がありましたら教えていただきたいです

追記

解決したかもしれません
後日また追記します

行動規範の内容に同意します

回答1件

自己解決

https://discuss.pytorch.org/t/multiprocess-cv2-data-loader/54039
を参考にして解決しました
Datasetのinitでself.cap = capにして、getitemは

Python
1    def __getitem__(self, index):
2        ret, self.frame = self.cap.read() ####################
3        self.frame = cv2pil(self.frame)
4        cropped_img = self.transform(self.frame, self.phase)
5        return cropped_img

としていましたが、dataset定義時に動画へのパスを渡すようにして、initでは
self.cap=None
として、getitemを

Python
1    def __getitem__(self, index):
2        if self.cap is None: #######################
3            self.cap = cv2.VideoCapture(self.video_path)
4        ret, self.frame = self.cap.read()
5        self.frame = cv2pil(self.frame)
6        cropped_img = self.transform(self.frame, self.phase)
7        return cropped_img