Pythonのmultiprocessing.Processでのグローバル変数の共有について

Question

Pythonのmultiprocessing.Processクラスの挙動について質問させてください。

Processオブジェクトを作成してstart()で呼び出すと、指定したメソッドが子プロセスで実行されます。このときに、子プロセスの中から、親プロセスのグローバル変数の状態が読み取り専用で参照できます。

マルチスレッドでは、メモリが共有されているので親の状態を参照することができるのは分かりますが、Processはマルチプロセスということなので、メモリ空間が親と子では分かれていると思うのですが、PythonのProcessではどのようにして子プロセスから親プロセスの状態が参照できているのでしょうか。

from multiprocessing import Process

def func():
    global g
    print "sub process: ", g
    g = 200


g = 100
print "main before: ", g
p = Process(target=func)
p.start()
p.join()
print "main after: ", g

Answer 1

「読み取り専用」というのは具体的には「startした時の状態が読める」であって「その時の状態が読める」ではありません。また、「読み取り専用」ではなく子プロセスで変更も可能です。

下記の例のように、すると、subprocessが表示するのは300になります。
内部実装としては、p.start() を実行したときに、親プロセスの変数等諸々が子プロセスが読める空間にコピーされます。子プロセスにコピーされたglobal変数の値は、変更することも可能で、但し変更は子プロセスの中に留まります。下記例ではfunc()の中で変更した値が func_sub()の中で読みだすことができていますが、その変更は親プロセスには影響を与えません。

from multiprocessing import Process
import time

def func_sub():
    global g
    print "sub process: ", g

def func():
    time.sleep(1)
    global g
    print "sub process: ", g
    g = 200
    func_sub()

g = 100
print "main before: ", g
p = Process(target=func)
g = 300
print "main after Process: ", g
p.start()
g = 400
print "main after strat: ", g
p.join()
print "main after join: ", g

Comments

[t-miyazaki]

回答ありがとうございます。
> 内部実装としては、p.start() を実行したときに、親プロセスの変数等諸々が子プロセスが読める空間にコピーされます
なるほど、そういうことだったのですね。とりあえずこれで解決とさせていただきます。

ソース(https://github.com/python/cpython/blob/master/Lib/multiprocessing/process.py)を見たのですが、どこにそのような動作の記述があるのか分かりませんでした。見ている場所が違うのでしょうか。もしよろしければご教示頂けると助かります。

[hiro-k]

BaseProsess の start (提示されたソース内 95行目～ ) の中の 105 行目 self._Popen(self) がプロセスを生成する処理です。 そのソース内 68行目～69行目で、
def _Popen(self):
raise NotImplementedError
となっていることから、 BaseProcessでは _Popen が実質定義されてないことが判ります。
では、それはどこで定義されえるか？というと、同じディレクトリの、__init__.py の 16行目 from . import context で呼ばれる、これも同じディレクトリ内の contex.py の 208行目～の Process の定義の中で _Popen が上書きされます。

子プロセスを生成した際に親プロセスの情報がコピーされること自体は、python の機能ではなくOSの一般的な機能になります。
https://ja.wikipedia.org/wiki/Fork
のプロセスのアドレス空間以下が参考になるかと思います。

Answer 2

16.6.1.4. プロセス間での状態の共有に目を通してみてください。

from __future__ import print_function
from multiprocessing import Process, Value

def func(g):
    print("sub process: ", g.value)
    g.value = 200

g = Value('i', 100, lock=False)  # Trueだと同期アクセスになる
print("main before: ", g.value)
p = Process(target=func, args=(g,))
p.start()
p.join()
print("main after: ", g.value)

出力:

main before:  100
sub process:  100
main after:  200

Comments

[t-miyazaki]

回答ありがとうございます。
状態の共有のためにValueクラスを使えば良いということは分かりました。
しかし今回の質問は、明示的に共有していないグローバル変数が子プロセスで見えているのは何故か、という意図でさせていただきました。
今後はValueクラスを使ってみたいと思います。