質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
並列処理

複数の計算が同時に実行される手法

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

541閲覧

Pythonにおけるmultiprocessとpoolオブジェクトについて

退会済みユーザー

退会済みユーザー

総合スコア0

並列処理

複数の計算が同時に実行される手法

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2018/09/30 07:12

編集2018/09/30 07:14

前提・実現したいこと

Python公式ドキュメントを読みながら、並列処理のためのpoolオブジェクトに関するコードを書いています。

発生している問題・エラーメッセージ

①該当ソースコードの
with Pool(5)における5が何を指しているのかわかりません。

②計算終了が同じタイミングでなくても同時に結果が返されるのは、リストで渡しているからでしょうか。
具体的には、以下の公式ドキュメントに以下のようなコードがありました。
こちらは、乗算なので引数[1,2,3]において計算結果が出るタイミングは同じだと思います。
しかし、該当ソースコードは累乗なので、引数の値が大きくなるほど時間がかかると考えられます。
計算が終わった順に出力することは可能なのでしょうか。

例えば以下のように出力する

2 4 8 16 32 64

シグナルハンドラなどは
このようなプログラムには使えないのでしょうか。

python

1from multiprocessing import Pool 2 3def f(x): 4 return x*x 5 6if __name__ == '__main__': 7 with Pool(5) as p: 8 print(p.map(f, [1, 2, 3])) 9 10#出力 11[1, 4, 9]

該当のソースコード

python

1from multiprocessing import Pool 2 3def f(x): 4 return 2**x 5 6if __name__ == '__main__': 7 with Pool(5) as p: 8 print(p.map(f, [1, 2, 3, 4, 5, 6])) 9#出力 10[2, 4, 8, 16, 32, 64]

補足情報(FW/ツールのバージョンなど)

Python3.6

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

ドキュメントをよく読みましょう。

class multiprocessing.pool.Pool([processes[, initializer[, initargs[, maxtasksperchild[, context]]]]])¶
processes は使用するワーカープロセスの数です。processes が None の場合 os.cpu_count() が返す値を使用します。

何個プロセスを作るか、という数値ですね。

mapの他にもいろいろあるので、目的にあった方法を選べると思います。

たとえばimapという遅延評価版のメソッドを使えば、以下のような動作になります(実際に実行してみるとわかりやすいと思います)。

python

1import time 2from multiprocessing import Pool 3 4def f(i): 5 print("start", i) 6 time.sleep(i) 7 print("end", i) 8 return i 9 10p = Pool(4) 11for x in p.map(f, [1,2,3,4]): 12 print(x) 13 14for x in p.imap(f, [1,2,3,4]): 15 print(x) 16 17""" => 18start 1 19start 2 20start 3 21start 4 22end 1 23end 2 24end 3 25end 4 261 272 283 294 30start 1 31start 2 32start 3 33start 4 34end 1 351 36end 2 372 38end 3 393 40end 4 414 42"""

入力値がソートされていればこれで良さそうです。

投稿2018/09/30 08:38

hayataka2049

総合スコア30933

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2018/09/30 09:03

ご回答いただきましてありがとうございます。 ①に関しまして、Pool(5)で5つのプロセスに対して[1, 2, 3, 4, 5, 6]で6つの入力はなぜ可能なのでしょうか。
hayataka2049

2018/09/30 09:11

まさしく「プロセスプール」の名のごとく、空いたプロセスに振ってるからです。 回答のコードを少し改修して p = Pool(4) for x in p.map(f, [1,2,3,4,5,6]): print(x) という処理を挟むと start 1 start 2 start 3 start 4 end 1 start 5 end 2 start 6 end 3 end 4 end 5 end 6 1 2 3 4 5 6 と出力され、まず引数1,2,3,4に対する処理が始まり、1が終わった後5がスタート、2が終わった後6がスタート、という流れで実行されることがわかります
退会済みユーザー

退会済みユーザー

2018/09/30 09:30

ありがとうございました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問