実現したいこと
pythonのmultiprocessingを動かず止まってしまいます.
main.py
1from torch.multiprocessing import Manager, Pool, Process 2from model import model 3from data import data 4if __name__=='__main__': 5 def matmul(inputs): 6 customer_x, item_x = inputs 7 customers = torch.arange(customer_x.size(0)) 8 rating_all = [] 9 for batch_users in tqdm(minibatch(customers, batch_size=TEST_BATCH_SIZE)): 10 rating = customer_x[batch_users] @ item_x.T 11 rating_all.append(rating) 12 rating_all = torch.cat(rating_all) 13 return rating_all 14 data = data() 15 model = model() 16 customer_x, item_x = model.getUsersRating() 17 process_num = 8 18 19 p = Pool(process_num) 20 customer_per_process = customer_x.size(0)//process_num 21 xs = [(customer_x[customer_per_process*i:customer_per_process*(i+1)], item_x) if i!=process_num-1 else \ 22 (customer_x[customer_per_process*i:], item_x) for i in range(process_num)] 23 24 rating_all = p.map(matmul, xs) 25
前提
行列計算をmultiprocessingを用いて並列計算しようとしています. しかし, 上記のmain.pyを実行してもPool.map()のとこで計算が止まってしまいます. jupyter notebookではPool.map()が動くことを確認したのですが, pythonスクリプトから実行すると計算が止まってしまいます. name=='main'からの実行もしているので, なぜ止まってしまうのかわからず困っている状況です.
試したこと
通常のmultiprocessingやPoolも試しましたが同様に止まってしまいました. また, matmulの位置は__name__=='main'の前後のどちらでも止まってしまいました.
torch.multiprocessing.get_start_method()の結果はjupyter, スクリプト共にforkでした
補足情報(FW/ツールのバージョンなど)
torch 2.0.0
python 3.10

回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。