pythonの並列処理について

Question

疑問点

pythonで並列処理を行いたいが、並列処理を行ってくれるコードの違いが分かりません。
ThreadPoolExecutorを使用した関数の返り値の取得によって並列処理を行ってくれません。

公式では、.result()を使用しているので、使用してましたが、並列処理を行っているように思えませんでした。

該当のソースコード

取得したい値はdict_outputです。

from concurrent import futures
import time
import random


def sample_func(index,key_a):
    print('index: %s started.' % index)
    sleep_seconds = random.randint(2, 4)
    time.sleep(sleep_seconds)
    print('index: %s ended.' % index)
    dict_a[key_a]=index
    return dict_a

future_list = []
dict_a={}
dict_output={}
dict_range={'key1':1,'key2':2,'key3':3,'key4':4,'key5':5,'key6':6,'key7':7,'key8':8,'key9':9,'key10':10,'key11':11,'key12':12,'key13':13,'key14':14,
             'key15':15,'key16':16,'key17':17,'key18':18,'key19':19,'key20':20}
with futures.ThreadPoolExecutor(max_workers=4) as executor:
    for key_a,i in dict_range.items():
        future = executor.submit(sample_func, index=i,key_a=key_a)
        future_list.append(future)
        dict_output[i]=future.result() #この行を消すと並列実行を行ってくれる
    _ = futures.as_completed(fs=future_list)

print('completed.')
print(dict_a)
print(dict_output)

並列処理を行うために.result()を削除した場合は、以下になります。

from concurrent import futures
import time
import random


def sample_func(index,key_a,dict_output):
    print('index: %s started.' % index)
    sleep_seconds = random.randint(2, 4)
    time.sleep(sleep_seconds)
    print('index: %s ended.' % index)
    dict_a[key_a]=index
    dict_output[index]=dict_a
    return dict_output

future_list = []
dict_a={}
dict_output={}
dict_range={'key1':1,'key2':2,'key3':3,'key4':4,'key5':5,'key6':6,'key7':7,'key8':8,'key9':9,'key10':10,'key11':11,'key12':12,'key13':13,'key14':14,
             'key15':15,'key16':16,'key17':17,'key18':18,'key19':19,'key20':20}
with futures.ThreadPoolExecutor(max_workers=4) as executor:
    for key_a,i in dict_range.items():
        future = executor.submit(sample_func, index=i,key_a=key_a,dict_output=dict_output)
        future_list.append(future)
    _ = futures.as_completed(fs=future_list)

print('completed.')
print(dict_a)
print(dict_output)

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[quickquip]

ソースは合ってますか?
b_list の定義がない とか ".result()を削除した場合は"とあるわりに書いてあったりしますが……。

> 公式では、
は https://docs.python.org/ja/3/library/concurrent.futures.html#threadpoolexecutor-example あたりのことをさしていますか?

[alfald]

>b_list の定義がない...
すみません
消し忘れでした。

はいそうです。
他の例でも値を返すものは基本的に".result()"を使用しているみたいなので

Answer 1

Featuor.result()は、生成したプロセス/スレッドの終了を待つものですので、submitしたループの後で実行してしまうと、そのループごとに終了を待っつしまい、並列処理になりません。

そのループの中でresult()を取るのでなく、ループの外で取出すようにすればいいいでしょう。

for f in  future_list:
   dict_output[i]=f.result()

Comments

[alfald]

ありがとうございます。
上記のように行えば動きました。
result()にはそのような処理が挟まっていたのですね。
参考になりました。

[TakaiY]

ドキュメントに書いてあります。
https://docs.python.org/ja/3/library/concurrent.futures.html#concurrent.futures.Future.result

機能を使う場合、まずはドキュメントを確認してその機能の内容を把握してから進めると、嵌りにくくなるし、スキルも早く上りますよ。