Q&A
###実現したいこと
現在Pythonにおいて以下のソースコードの並列処理化をしようとしています。
未だにPythonの並列処理に慣れておらずどのように書けばいいかわかりません。
ちなみにこのスクリプトは動画から顔を切り出すものです。単純に教師データの確保のためです。
C#ではTask.Runで実装してたのですがPythonでも勉強のためやってみようと思ったため書いてみた次第です。拙いコードで正直自分で見てもコンストラクタとか気持ち悪いですがどうかご容赦ください。
具体的にしたいことはrun関数にあるforを並列処理にできないかと考えています。
どなたか教えてください。
###該当のソースコード
python
1# import modules 2import cv2 3import os 4import re 5import sys 6import tkinter as tk 7from tkinter import filedialog, messagebox 8 9 10class Cutter: 11 12 def __init__(self): 13 self.cascade_path = 'lbpcascade_animeface.xml' 14 self.video_paths = list() 15 self.save_path = '' 16 self.IsChoice = None 17 self.frame = None 18 self.cap = None 19 self.num = 0 20 21 def __select_make(self): 22 self.IsChoice = True 23 root = tk.Tk() 24 root.withdraw() 25 dir_path = filedialog.askdirectory(initialdir='C:/', title='動画フォルダを選択してください') 26 paths = list() 27 try: 28 for i, filename in enumerate(os.listdir(dir_path)): 29 fn = str(dir_path + '/' + filename) 30 self.video_paths.append(fn) 31 path, ext = os.path.splitext(filename) 32 if not ext == '.mp4' or not ext == '.avi': 33 continue 34 paths = [(re.search("[0-9]+", x).group(), x) for x in self.video_paths] 35 paths.sort(key=lambda x: int(x[0])) 36 for i, p in enumerate(paths): 37 self.video_paths[i] = p[1] 38 del root 39 except: 40 choice = messagebox.askquestion('Error : Can\'t find file', '動画ファイルが見つかりませんでした\n' 41 '終了しますか？') 42 if choice == 'yes': 43 sys.exit() 44 if len(self.video_paths) == 0: 45 self.IsChoice = False 46 47 def __select_save(self): 48 root = tk.Tk() 49 root.withdraw() 50 self.save_path = filedialog.askdirectory(initialdir='C:/', title='保存フォルダを選択してください') 51 if self.save_path == '': 52 choice = messagebox.askquestion('Error', '保存先が選択されていません\n' 53 '終了しますか？') 54 if choice == 'yes': 55 sys.exit() 56 self.IsChoice = True 57 58 def __cut(self, filename): 59 60 def change(p): 61 result = '' 62 for w in p: 63 if w == '\': 64 result += '/' 65 else: 66 result += w 67 return result 68 69 def face_cut(): 70 gray = cv2.cvtColor(self.frame, cv2.COLOR_BGR2GRAY) 71 gray = cv2.equalizeHist(gray) 72 73 cascade = cv2.CascadeClassifier(self.cascade_path) 74 facerect = cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=3, minSize=(50, 50)) 75 76 print(facerect) 77 return facerect 78 79 self.cap = cv2.VideoCapture(filename) 80 self.num += 1 81 frame_num = 0 82 save_num = 1 83 other_num = 0 84 output_dir = change(os.path.abspath(self.save_path)) 85 if not os.path.exists(output_dir + '/faces'): 86 os.mkdir(output_dir + '/faces') 87 output_dir += '/faces' 88 89 other_dir = change(os.path.abspath(self.save_path)) 90 if not os.path.exists(other_dir + '/other'): 91 os.mkdir(other_dir + '/other') 92 other_dir += '/other' 93 94 while self.cap.isOpened(): 95 96 frame_num += 1 97 ret, self.frame = self.cap.read() 98 if not ret: 99 break 100 if frame_num % 50 == 0: 101 face = face_cut() 102 103 if len(face) == 0: 104 other_path = os.path.join(other_dir, 'd_{0}_{1}.jpg'.format(self.num, other_num)) 105 other_num += 1 106 try: 107 cv2.imwrite(other_path, self.frame) 108 except: 109 messagebox.showerror('Error', '保存に失敗しました') 110 111 for j, (x, y, w, h) in enumerate(face): 112 face_img = self.frame[y: y + h, x: x + w] 113 # face_img = cv2.resize(face_img, (28, 28)) 114 output_path = str(output_dir) + '/' + '{0}_{1}_{2}.jpg'.format(self.num, save_num, j) 115 save_num += 1 116 try: 117 cv2.imwrite(output_path, face_img) 118 print(output_path) 119 except: 120 messagebox.showerror('Error', '保存に失敗しました') 121 122 self.cap.release() 123 124 def __select(self): 125 while not self.IsChoice: 126 self.__select_make() 127 self.IsChoice = False 128 while not self.IsChoice: 129 self.__select_save() 130 131 def run(self): 132 self.__select() 133 for path in self.video_paths: 134 self.__cut(path) 135 136 137# main function 138if __name__ == '__main__': 139 cutter = Cutter() 140 cutter.run() 141
###試したこと
joblibを使いrunを
Parallel(n_jobs=-1)(delayed(self.cut(path) for path in self.video_paths))
としたら
TypeError: can't pickle generator objects
と表示されてしまった。
いまいちjoblib.Parallelに関して理解できてないのでエラーの理由も教えていただけたら嬉しいです。
###補足情報(言語/FW/ツール等のバージョンなど)
python 3.6.3
回答1件
0
ベストアンサー
Pythonに不慣れなうちは標準ライブラリで並列化したほうが良いですよ。
PythonにはJavaみたいなThreadPoolExecutorと、それをマルチプロセスでやってしまおうというProcessPoolExecutorがあります。
詳細は以下のコードとその実行結果、ドキュメントを参照してください。
python
1from concurrent.futures import ProcessPoolExecutor 2from concurrent.futures.process import BrokenProcessPool 3from concurrent.futures import ThreadPoolExecutor 4from os import getpid 5from time import sleep 6from threading import current_thread 7 8 9def func_result_as_str(n): 10 sleep(1) # あまりにはやいと並列化されないのでsleep 11 return "n=%d, Process ID=%d, Thread ID=%d" %( 12 n, getpid(), current_thread().ident) 13 14 15def func_result_as_generator(n): 16 yield from func_result_as_str(n) 17 18 19def func_result_as_tuple(n): 20 return tuple(func_result_as_generator(n)) 21 22 23def main(): 24 N_jobs = 10 25 26 # スレッドベースの並列化 27 # メリット - 基本的になんでも簡単に並列化できる 28 # デメリット - GILの制限から解放されない 29 with ThreadPoolExecutor() as pool: 30 print("*" * 10, "func_result_as_strの戻り値たち: Thread IDがばらばら") 31 for result in pool.map(func_result_as_str, range(N_jobs)): 32 print(result) 33 34 print("*" * 10, "func_result_as_generatorの戻り値たち: generatorが返ってくる、" 35 "でも結局generator生成だけが並列化されてそれを回すところが並列されない") 36 for result in pool.map(func_result_as_generator, range(N_jobs)): 37 print(result, "".join(result)) 38 39 # プロセスベースの並列化 40 # メリット - GILの制限から解放される 41 # デメリット - プロセス間でpicklable（シリアライズ可能）なオブジェクトしかやり取りできない 42 with ProcessPoolExecutor() as pool: 43 print("*" * 10, "strはpicklable（シリアライズ可能）なのでProcessPoolExecutor" 44 "でも並列化OK、Process IDがばらばら") 45 for result in pool.map(func_result_as_str, range(N_jobs)): 46 print(result) 47 48 print("*" * 10, "generatorはpicklable（シリアライズ可能）ではないのでなので" 49 "ProcessPoolExecutorでは並列化NG") 50 try: 51 for result in pool.map(func_result_as_generator, range(N_jobs)): 52 print(result, "".join(result)) 53 except BrokenProcessPool as e: 54 print(e) 55 56 with ProcessPoolExecutor() as pool: 57 print("*" * 10, "tupleはpicklable（シリアライズ可能）なのでなので" 58 "ProcessPoolExecutorでも並列化OK") 59 for result in pool.map(func_result_as_tuple, range(N_jobs)): 60 print(result, "".join(result)) 61 62 63if __name__ == "__main__": # マルチプロセス化には必須 64 main()
********** func_result_as_strの戻り値たち: Thread IDがばらばら n=0, Process ID=13768, Thread ID=7692 n=1, Process ID=13768, Thread ID=15164 n=2, Process ID=13768, Thread ID=13164 n=3, Process ID=13768, Thread ID=1312 n=4, Process ID=13768, Thread ID=2292 n=5, Process ID=13768, Thread ID=7260 n=6, Process ID=13768, Thread ID=6204 n=7, Process ID=13768, Thread ID=1296 n=8, Process ID=13768, Thread ID=16284 n=9, Process ID=13768, Thread ID=14668 ********** func_result_as_generatorの戻り値たち: generatorが返ってくる、でも結局generator生成だけが並列化されてそれを回すところが並列されない <generator object func_result_as_generator at 0x0000019061330410> n=0, Process ID=13768, Thread ID=12788 <generator object func_result_as_generator at 0x0000019061330468> n=1, Process ID=13768, Thread ID=12788 <generator object func_result_as_generator at 0x0000019061330570> n=2, Process ID=13768, Thread ID=12788 <generator object func_result_as_generator at 0x00000190613305C8> n=3, Process ID=13768, Thread ID=12788 <generator object func_result_as_generator at 0x00000190613304C0> n=4, Process ID=13768, Thread ID=12788 <generator object func_result_as_generator at 0x0000019061330620> n=5, Process ID=13768, Thread ID=12788 <generator object func_result_as_generator at 0x0000019061330518> n=6, Process ID=13768, Thread ID=12788 <generator object func_result_as_generator at 0x0000019061330780> n=7, Process ID=13768, Thread ID=12788 <generator object func_result_as_generator at 0x0000019061330728> n=8, Process ID=13768, Thread ID=12788 <generator object func_result_as_generator at 0x00000190613306D0> n=9, Process ID=13768, Thread ID=12788 ********** strはpicklable（シリアライズ可能）なのでProcessPoolExecutorでも並列化OK、Process IDがばらばら n=0, Process ID=8180, Thread ID=8664 n=1, Process ID=3628, Thread ID=15880 n=2, Process ID=8920, Thread ID=12636 n=3, Process ID=6400, Thread ID=908 n=4, Process ID=8180, Thread ID=8664 n=5, Process ID=3628, Thread ID=15880 n=6, Process ID=8920, Thread ID=12636 n=7, Process ID=6400, Thread ID=908 n=8, Process ID=8180, Thread ID=8664 n=9, Process ID=3628, Thread ID=15880 ********** generatorはpicklable（シリアライズ可能）ではないのでなのでProcessPoolExecutorでは並列化NG Process Process-4: Process Process-3: Process Process-1: Process Process-2: Traceback (most recent call last): File "C:\Python36\lib\multiprocessing\process.py", line 249, in _bootstrap self.run() File "C:\Python36\lib\multiprocessing\process.py", line 93, in run self._target(*self._args, **self._kwargs) File "C:\Python36\lib\concurrent\futures\process.py", line 181, in _process_worker result=r)) File "C:\Python36\lib\multiprocessing\queues.py", line 349, in put obj = _ForkingPickler.dumps(obj) File "C:\Python36\lib\multiprocessing\reduction.py", line 51, in dumps cls(buf, protocol).dump(obj) TypeError: can't pickle generator objects Traceback (most recent call last): File "C:\Python36\lib\multiprocessing\process.py", line 249, in _bootstrap self.run() File "C:\Python36\lib\multiprocessing\process.py", line 93, in run self._target(*self._args, **self._kwargs) File "C:\Python36\lib\concurrent\futures\process.py", line 181, in _process_worker result=r)) File "C:\Python36\lib\multiprocessing\queues.py", line 349, in put obj = _ForkingPickler.dumps(obj) File "C:\Python36\lib\multiprocessing\reduction.py", line 51, in dumps cls(buf, protocol).dump(obj) TypeError: can't pickle generator objects Traceback (most recent call last): File "C:\Python36\lib\multiprocessing\process.py", line 249, in _bootstrap self.run() File "C:\Python36\lib\multiprocessing\process.py", line 93, in run self._target(*self._args, **self._kwargs) File "C:\Python36\lib\concurrent\futures\process.py", line 181, in _process_worker result=r)) File "C:\Python36\lib\multiprocessing\queues.py", line 349, in put obj = _ForkingPickler.dumps(obj) File "C:\Python36\lib\multiprocessing\reduction.py", line 51, in dumps cls(buf, protocol).dump(obj) Traceback (most recent call last): TypeError: can't pickle generator objects File "C:\Python36\lib\multiprocessing\process.py", line 249, in _bootstrap self.run() File "C:\Python36\lib\multiprocessing\process.py", line 93, in run self._target(*self._args, **self._kwargs) File "C:\Python36\lib\concurrent\futures\process.py", line 181, in _process_worker result=r)) File "C:\Python36\lib\multiprocessing\queues.py", line 349, in put obj = _ForkingPickler.dumps(obj) File "C:\Python36\lib\multiprocessing\reduction.py", line 51, in dumps cls(buf, protocol).dump(obj) TypeError: can't pickle generator objects A process in the process pool was terminated abruptly while the future was running or pending. ********** tupleはpicklable（シリアライズ可能）なのでなのでProcessPoolExecutorでも並列化OK ('n', '=', '0', ',', ' ', 'P', 'r', 'o', 'c', 'e', 's', 's', ' ', 'I', 'D', '=', '1', '2', '5', '1', '2', ',', ' ', 'T', 'h', 'r', 'e', 'a', 'd', ' ', 'I', 'D', '=', '9', '9', '2', '4') n=0, Process ID=12512, Thread ID=9924 ('n', '=', '1', ',', ' ', 'P', 'r', 'o', 'c', 'e', 's', 's', ' ', 'I', 'D', '=', '1', '3', '8', '0', '8', ',', ' ', 'T', 'h', 'r', 'e', 'a', 'd', ' ', 'I', 'D', '=', '1', '5', '5', '9', '6') n=1, Process ID=13808, Thread ID=15596 ('n', '=', '2', ',', ' ', 'P', 'r', 'o', 'c', 'e', 's', 's', ' ', 'I', 'D', '=', '9', '7', '8', '8', ',', ' ', 'T', 'h', 'r', 'e', 'a', 'd', ' ', 'I', 'D', '=', '1', '1', '2', '7', '6') n=2, Process ID=9788, Thread ID=11276 ('n', '=', '3', ',', ' ', 'P', 'r', 'o', 'c', 'e', 's', 's', ' ', 'I', 'D', '=', '4', '9', '9', '6', ',', ' ', 'T', 'h', 'r', 'e', 'a', 'd', ' ', 'I', 'D', '=', '1', '3', '5', '2', '4') n=3, Process ID=4996, Thread ID=13524 ('n', '=', '4', ',', ' ', 'P', 'r', 'o', 'c', 'e', 's', 's', ' ', 'I', 'D', '=', '1', '2', '5', '1', '2', ',', ' ', 'T', 'h', 'r', 'e', 'a', 'd', ' ', 'I', 'D', '=', '9', '9', '2', '4') n=4, Process ID=12512, Thread ID=9924 ('n', '=', '5', ',', ' ', 'P', 'r', 'o', 'c', 'e', 's', 's', ' ', 'I', 'D', '=', '1', '3', '8', '0', '8', ',', ' ', 'T', 'h', 'r', 'e', 'a', 'd', ' ', 'I', 'D', '=', '1', '5', '5', '9', '6') n=5, Process ID=13808, Thread ID=15596 ('n', '=', '6', ',', ' ', 'P', 'r', 'o', 'c', 'e', 's', 's', ' ', 'I', 'D', '=', '9', '7', '8', '8', ',', ' ', 'T', 'h', 'r', 'e', 'a', 'd', ' ', 'I', 'D', '=', '1', '1', '2', '7', '6') n=6, Process ID=9788, Thread ID=11276 ('n', '=', '7', ',', ' ', 'P', 'r', 'o', 'c', 'e', 's', 's', ' ', 'I', 'D', '=', '4', '9', '9', '6', ',', ' ', 'T', 'h', 'r', 'e', 'a', 'd', ' ', 'I', 'D', '=', '1', '3', '5', '2', '4') n=7, Process ID=4996, Thread ID=13524 ('n', '=', '8', ',', ' ', 'P', 'r', 'o', 'c', 'e', 's', 's', ' ', 'I', 'D', '=', '1', '2', '5', '1', '2', ',', ' ', 'T', 'h', 'r', 'e', 'a', 'd', ' ', 'I', 'D', '=', '9', '9', '2', '4') n=8, Process ID=12512, Thread ID=9924 ('n', '=', '9', ',', ' ', 'P', 'r', 'o', 'c', 'e', 's', 's', ' ', 'I', 'D', '=', '1', '3', '8', '0', '8', ',', ' ', 'T', 'h', 'r', 'e', 'a', 'd', ' ', 'I', 'D', '=', '1', '5', '5', '9', '6') n=9, Process ID=13808, Thread ID=15596
ちなみに多重度の初期値はProcessPoolExecutorよりもThreadPoolExecutorのほうが多くなっています。
投稿2017/11/12 05:24
総合スコア6142
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2017/11/12 06:22
2017/11/12 06:47
2017/11/12 09:04
2017/11/12 10:22
2017/11/12 23:30
2017/11/13 00:06