Pythonのmultiprocessingにおいて，関数のデータを保持したままにしたい

Question

Pythonのmultiprocessingにおいて，関数のデータを保持したままにしたいです．
下記のコードにおいて，aが毎回リセットされてしまうのですが，前回の値を保持してそれの合計を表示するようにしたいです．

例としてこのコードを実行すると，

2
5
6
4
2

のような結果が出力されます．

import multiprocessing
import random
import time

a = 0

def produce(queue,i):
	global a
	a += i
	queue.put(a)
	time.sleep(random.randint(1, 5))


def consume(queue):
	n = queue.get()
	print(n)
	time.sleep(random.randint(1, 5))

if __name__ == '__main__':
	queue = multiprocessing.Queue()


	while(True):
		i = random.randint(1,10)

		p0 = multiprocessing.Process(target=produce, args=(queue,i))
		c0 = multiprocessing.Process(target=consume, args=(queue,))

		p0.start()
		c0.start()

		# プロセス終了待ち合わせ
		p0.join()
		c0.join()

Answer 1

multiprocessingは別プロセスで実行するのですから、当然、Pythonの変数は共有できません。

変数を共有したければthreading --- スレッドベースの並列処理を使いましょう。

multiprocessingでデータを共有したければ、変数ではありませんが、multiprocessing.shared_memory --- 異なるプロセスから参照可能な共有メモリを使いましょう。このマニュアルは翻訳されていないところが多いので、Pythonでプロセス間の値の共有を見た方が良いかもしれません。

Answer 2

スレッドにする事で期待通りのグローバル変数の振る舞いにできますが…

consumer/producer の役割を見直しましょう

現状のプログラムは、

• メインプロセスで乱数を生成 ← 本来は producer の役割のはず
• producer の引数にして起動、キューに入れる ← 中継しかしていない
• consumer でキューの読み出し

また、メインプロセスでループを組んで
毎ループ新しいプロセスを作っている為、グローバル変数が毎回初期化されてます。
（プロセス毎に新しいメモリ空間でモジュールを読み込む為）

プロセスをループ毎に作成するのではなく、各プロセス内
それぞれ producer , consumer 内でループする事で、
同一プロセス内で累計用の変数を保持できるようになります。

---

• producer が値の生成をするループ

　乱数を生成してキューに入れる。適当に sleep

• consumer がキューから値を読み出すループ

　キューから値を読み出して表示。
類計をカウントしてる変数に加算する。
※ キューからの読み出しをブロッキングで行えば、consumer でのsleepは不要です。

Comments

[aqufiz]

ご回答ありがとうございます．

変数を入れている部分を画像に変更して，カメラから入ってくる画像をリアルタイムで処理させるという動作を行いたいと考えているのですが，proceduerにカメラの画像生成を入れて，consumerで処理するという形にすればよろしいでしょうか．

[teamikl]

プロセス間通信の場合、質問の前提が変わってしまいます。

数値 ⇛ 共有メモリにすると型制限のため、桁溢れの可能性あり。
画像データ ⇛ 不要なメモリコピーを避けるには共有メモリ。

画像データであれば、共有メモリも視野ですが
問題点は、ループ内でプロセス生成（何度もプロセスを大量に作る）部分なので、
プログラムの構造自体を先に解消すべきです。 ⇛ プロセス内でループするようにする

[teamikl]

別問題に別けた方が良いと思います

質問は producer 関数が毎回別プロセスで呼ばれるため
グローバル変数のデータ共有ができていないというもので、
解消方法は、producer のプロセスはひとつにして、その中でループ処理をする、です。

＞proceduerにカメラの画像生成を入れて，consumerで処理する
は、producer -> consumer 間でのデータ共有の問題です。

[aqufiz]

ありがとうございます．

もう少し自分で整理してから改めて質問させていただきます．