[Python2.7]multiprocessingで並列処理を行う関数内から変数を参照する方法について

###実装したいこと
main処理内で作成した変数を、multiprocessingを使って実行される関数内から参照したい

###ソースコード

from multiprocessing import Pool, cpu_count
import time

stack = []
cpu = ''

def slowf(x):
    time.sleep(1)
    return x*cpu

if __name__ == '__main__':
    st = time.time()
    cpu = cpu_count() * 2
    p = Pool(cpu)
    stack = p.map(slowf, range(1,11))
    print stack
    #print('cpu : %d' % cpu_count())
    print ('stack count : %d' % len(stack))
    print('time : %.3f s' % (time.time()-st))

###実行結果
slowf内でcpu変数の値を参照できていないため、skackに記録された値が全てnullとなってしまいました

['', '', '', '', '', '', '', '', '', '']
stack count : 10
time : 2.482 s

グローバル変数で宣言された値は参照出来ることは把握しておりますが、今回のようにmainの中で処理を行い変数に格納した値を並列処理される関数から参照したい場合は、どの様にコーディングすればよいでしょうか。。。。。
###補足
実行環境：windows 7 32bit

行動規範の内容に同意します

回答1件

ベストアンサー

multiprocessing で生成した slowf は、その名の通り別のプロセスで動いているため、ふつうの方法ではオブジェクトを共有することはできません。

今回の cpu のようにずっと値が変わらないであれば引数として渡してあげましょう。一方で、プログラム実行中にプロセスのどれかが値を書き換え、それを他のプロセスが参照する必要がある場合は共有メモリやサーバープロセスを使います。→ multiprocessing - プロセス間での状態の共有

ただ、Pool.map() は複数の引数を渡せない仕様のため、こんな感じでラッパー関数をつかってムリやり渡します。

python
1from multiprocessing import Pool, cpu_count
2import time
3
4def argwrapper(args):
5    return args[0](*args[1:])
6
7def slowf(x, cpu):
8    time.sleep(1)
9    return x*cpu
10
11if __name__ == '__main__':
12    st = time.time()
13    cpu = cpu_count() * 2
14    p = Pool(cpu)
15    func_args = []
16    for x in range(1,11):
17    	func_args.append((slowf, x, cpu))
18    stack = p.map(argwrapper, func_args)
19    print(stack)
20    print('stack count : %d' % len(stack))
21    print('time : %.3f s' % (time.time()-st))