質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
PyTorch

PyTorchは、オープンソースのPython向けの機械学習ライブラリ。Facebookの人工知能研究グループが開発を主導しています。強力なGPUサポートを備えたテンソル計算、テープベースの自動微分による柔軟なニューラルネットワークの記述が可能です。

並列処理

複数の計算が同時に実行される手法

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

1145閲覧

python multiprocessingが動かない

tanhxyx

総合スコア4

PyTorch

PyTorchは、オープンソースのPython向けの機械学習ライブラリ。Facebookの人工知能研究グループが開発を主導しています。強力なGPUサポートを備えたテンソル計算、テープベースの自動微分による柔軟なニューラルネットワークの記述が可能です。

並列処理

複数の計算が同時に実行される手法

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2023/05/15 04:01

編集2023/05/15 04:08

実現したいこと

pythonのmultiprocessingを動かず止まってしまいます.

main.py

1from torch.multiprocessing import Manager, Pool, Process 2from model import model 3from data import data 4if __name__=='__main__': 5 def matmul(inputs): 6 customer_x, item_x = inputs 7 customers = torch.arange(customer_x.size(0)) 8 rating_all = [] 9 for batch_users in tqdm(minibatch(customers, batch_size=TEST_BATCH_SIZE)): 10 rating = customer_x[batch_users] @ item_x.T 11 rating_all.append(rating) 12 rating_all = torch.cat(rating_all) 13 return rating_all 14 data = data() 15 model = model() 16 customer_x, item_x = model.getUsersRating() 17 process_num = 8 18 19 p = Pool(process_num) 20 customer_per_process = customer_x.size(0)//process_num 21 xs = [(customer_x[customer_per_process*i:customer_per_process*(i+1)], item_x) if i!=process_num-1 else \ 22 (customer_x[customer_per_process*i:], item_x) for i in range(process_num)] 23 24 rating_all = p.map(matmul, xs) 25

前提

行列計算をmultiprocessingを用いて並列計算しようとしています. しかし, 上記のmain.pyを実行してもPool.map()のとこで計算が止まってしまいます. jupyter notebookではPool.map()が動くことを確認したのですが, pythonスクリプトから実行すると計算が止まってしまいます. name=='main'からの実行もしているので, なぜ止まってしまうのかわからず困っている状況です.

試したこと

通常のmultiprocessingやPoolも試しましたが同様に止まってしまいました. また, matmulの位置は__name__=='main'の前後のどちらでも止まってしまいました.
torch.multiprocessing.get_start_method()の結果はjupyter, スクリプト共にforkでした

補足情報(FW/ツールのバージョンなど)

torch 2.0.0
python 3.10

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

torch.multiprocessing.set_start_method('spawn', force=True)で実行できるようになりました

投稿2023/05/15 04:16

tanhxyx

総合スコア4

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問