質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
並列処理

複数の計算が同時に実行される手法

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

4136閲覧

concurrent.futures.ProcessPoolExecutor()でのキューの使い方がわからない

aiai8976

総合スコア112

並列処理

複数の計算が同時に実行される手法

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2021/06/04 06:42

編集2021/06/04 14:54

前提・実現したいこと

pythonで並列処理をしていて、mainの方で取得したデータを一時的にキューに入れたいと思っています。
subプロセスではそのキューデータをもとに別の処理を並列でしたいのですが、
どうやらgrobal上でputしたものはsub_process関数でも受け取れるのですが、main関数でputしたものは入らないみたいです。
おそらく使用しているメモリが変わってくるのかなと思っているのですが、
どのようにすればmain関数でputしたデータをsub_processで扱えるでしょうか。
わかる方がいましたら、コメントお願いします。

発生している問題・エラーメッセージ

キューのサイズ: 1 main queue size: 5

該当のソースコード

python

1from queue import Queue 2 3def sub_process(): 4 while not q.empty(): 5 print(f'キューのサイズ:{q.qsize()}') 6 7 8 9def main(): 10 try: 11 while True: 12 print('main process...') 13 q.put({'sample': 1}) 14 print(f'main queue size: {q.qsize()}') 15 16 except KeyboardInterrupt: 17 print('終了します.') 18 19 20if __name__ == '__main__': 21 q=Queue() 22 q.put('hoge') 23 with concurrent.futures.ProcessPoolExecutor() as executor: 24 futures_1=executor.submit(sub_process) 25 futures_2=executor.submit(main) 26 futures_1.result() 27 futures_2.result()

試したこと

マルチプロセスの場合はキューを引数として渡すことはできません。
引数として渡せるのはpickle化できるオブジェクトのみに限られます。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

ppaul

2021/06/04 12:57

ここに書いてあるキューというのは、queue.Queueですか、それともmultiprocessing.Queueですか。
aiai8976

2021/06/04 14:55

queue.Queueです。 追記しました。確認お願いします。
guest

回答1

0

ベストアンサー

実験したことはありませんが、

プロセス間でのオブジェクト交換

にある、multiprocessing.Queue は、こういう時のために用意されているのだと思います。
試してみてください。

投稿2021/06/07 13:25

ppaul

総合スコア24670

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

aiai8976

2021/06/08 01:27

multiprocessingのqueueを使えばうまく行きました! ありがとうございました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問