joblibでの並列処理の難解点

Question

下記のような並列化処理の場合、sqrt(...)が100回も実行されるので、各実行毎に
下の「accumulator += results」が実行される(100回)のでしょうか、それとも
100回のsqrt(...)が全部実行された後、「accumulator += results」が1回だけ実行されるのでしょうか。

import joblib
accumulator = 0
results = Parallel(delayed(sqrt)(accumulator + i )  for i in range(100))

accumulator += results
 

Comments

[jbpb0]

> sqrt(...)が100回も実行される

のは「results = Parallel(...」の行で、それが全部終わった後に「accumulator += results」は実行されるので、

> 100回のsqrt(...)が全部実行された後、「accumulator += results」が1回だけ実行される

でしょう

「Parallel(...」の行以外の行が勝手に100回も実行されたら、困りますよね

[insecticide]

お返事ありがとうございます　❣　　💛

> 100回のsqrt(...)が全部実行された後、「accumulator += results」が1回だけ実行される

そうしたら、sqrt(...)が100回も実行されたので、一回だけ実行された「accumulator += results」の中のresultsはどのsqrt(...)のリターン値でしょうか。

[quickquip]

動くコードじゃないと質問の意味がない（というか質問にならない）んじゃないでしょうか

[jbpb0]

「results」には、100回分の結果が全部入ってます

https://note.nkmk.me/python-joblib-parallel-usage/
の「joblib.Parallelによるシンプルな並列処理」を見てください

Answer 1

こういう説明でわかるでしょうか。

Parallelによる処理は以下のように書かれることが多いです。(質問にあるものは間違えています)

Parallel(n_jobs=3)(delayed(sqrt)(i**2) for i in range(10))ｓ

これは2つに分けて考えます。

Parallel(n_jobs=3)

これで、Parallelクラスのインスタンスができます。このインスタンスは与えられえた処理を並列で実行するための仕組みを持っています。この場合は3並列で実行できるようになっています。
変数に束縛すれば使いまわすこともできます。

(delayed(sqrt)(i**2) for i in range(10))

これは、タプルの内包表記ジェネレータ式で、10個のdelayed要素を生成するジェネレタを返します。ジェネレータは読むたびにリストの要素を返すオブジェクトです。
delayedもjoblibの関数で、delayed(A)(B) としたとき、実行すると関数Aに引数としてBを適用します。
そしてParallelのインスタンスに渡すと、これを並列で実行してくれて、それぞれの結果をタプルにして返します。

ということで、質問のやつだと、

results = Parallel(n_jobs=3)(delayed(sqrt)(accumulator + i )  for i in range(100))
#↓
results = Parallel(n_jobs=3)(delayed(sqrt)(0 + i )  for i in range(100))
#↓
results = Parallel(n_jobs=3)(delayed(sqrt)(0 + 0), delayed(sqrt)(0 + 1), ... delayed(sqrt)(0 + 99), )
#↓
results = (0, 1 , 1.41..., 1.73..., 2, ... 9.94...)

のようになって、resultsは このようなタプルになります。

最後の

accumulator += results

がどのような意図で書かれたものなのか、僕にはまったくわかりません。

Comments

[insecticide]

ご説明上手い　❣

> (delayed(sqrt)(i**2) for i in range(10))
> これは、タプルの内包表記で、10個のdelayed要素のタプルです。

ありがとうございました。

[quickquip]

3つ目のコードブロックのところ、タプルの内包表記ではなくジェネレータ式です。

そうですよね。results = Parallel(...) の行はたぶんこうしたかったんだろうな、と推測できますが、accumulator += results の行はまったくわかりませんよね…。めちゃくちゃ同意でした。

[insecticide]

お返事ありがとうございます。

＞　3つ目のコードブロックのところ、タプルの内包表記ではなくジェネレータ式です。

どういうわけでしょうか。

要は実行段階であれば、(..., ..., ...)のような表現はタプルで、それ以前の段階(interpret段階)では《ジェネレータ式》と呼ぶべきでしょうね。

[TakaiY]

指摘ありがとうございます。 僕も勘違いしてました。
回答直しておきました。

Answer 2

皆さまのご指摘を踏まえて、実例コードを以下のようにしました。

from joblib import Parallel, delayed

accumulator=55

def testfunc(d1, d2):
  global accumulator
  accumulator+=d2
  return d1,d2,accumulator


results = Parallel(n_jobs=-1,verbose=11)(delayed(testfunc)(accumulator, i)  for i in range(5))
# n_jobsのデフォルトは1（並列処理なし）
results # [(55, 0, 55), (55, 1, 56), (55, 2, 57), (55, 3, 58), (55, 4, 59)]

上記コードを実行して、resultsは下記の通りでした。
[(55, 0, 55), (55, 1, 56), (55, 2, 57), (55, 3, 58), (55, 4, 59)]

log : Using backend LokyBackend with 2 concurrent workers.

これで分かったのは、
１．global 変数accumulatorは各プロセスの中で値が変えられたにもかかわらず、並列関数の引数としての値はみんな同じ初期値でした。
推測：Parallel 文による関数のタプル化展開（正式の呼び名はジェネレータ式って）は実行前の段階で遂行され、引数も実行前の値ですね。

２．Parallelのreturn変数は必ずlistです。