[Python]マルチプロセスでメモリ共有を行いたい

Question

#concurrent.futuresを用いてマルチプロセスを行い、その際プロセス間で変数の共有を行いたいです。

threadingやTreadPoolExecutorを用いたマルチスレッドでは実現できましたが、
ProcessPoolExecutorの使い方がわかりませんでした。
リンク先なども調べてみた結果、マルチプロセスではグローバル変数を用いても、プロセス間で値が共有されないことはわかりましたが、value,arrayをどのように使えばよいか理解できませんでした。

import concurrent.futures
import time
 
a = 0


def func1():
    print("[1]スタート")
    time.sleep(5)
    print("5秒経過")
    global a
    a = 1
           
def func2():
    print("[2]スタート")
    while True:
        if (a == 1):
            print("値の共有を確認")
            break
                

if __name__ == "__main__":

    with concurrent.futures.TreadPoolExecutor(max_workers=2) as executor:
        executor.submit(func1)
        executor.submit(func2)

上記のコードはマルチスレッドで実際に動かすことができたものです。
（細かい処理は省略して、変数の値を共有できたか確認する部分のみにしています）

func1とfunc2をマルチプロセスで動かし、値を共有するにはどのようにコードを書けばよいでしょうか。
よろしくお願いいたします。

Answer 1

マルチプロセスというのは、メモリ空間を分ける（変数を分ける）という意味なので、変数の共有はできません。データの共有をしたければ、
・共有メモリを使う
・ファイルを使う（データベースを使う）
・ソケット通信する
など。

マルチスレッドでなくマルチプロセスにしないと何らかの問題が発生するのであれば、その問題を別途解決してマルチスレッドにするという考え方もあります。

Answer 2

multiprocessing Process と Value を使う

from multiprocessing import Process, Value
import time

def func1(a: Value):
    print("[1]スタート")
    time.sleep(5)
    print("5秒経過")
    a.value = 1

def func2(a: Value):
    print("[2]スタート")
    while True:
        if a.value == 1:
            print("値を通知")
            break

if __name__ == "__main__":
    a = Value('d', 0)
    func1_proc = Process(target=func1, args=(a,))
    func2_proc = Process(target=func2, args=(a,))
    func1_proc.start()
    func2_proc.start()

    func1_proc.join()
    func2_proc.join()
    print(a.value)

サンプルを作ってみました。Value オブジェクトを使うと、共有が可能です。サンプルでは、二つのプロセスが、Value a を使ってデータ共有します。

Comments

[k_k_k]

ThreadPoolExecutorではなく、
ProcessPoolExcutorで動かそうすると、プロセス間で変数が共有できません。
どのようにすれば良いでしょうか。

[mmaeda]

プロセスを使うということは、意図的に分離することを目的にしているので、データ共有したいなら目的と相反します。ThreadPoolExecutor では、システムリソースを十分に使っていないということでしょうか？
Process() を使うと、Queue, Pipe などが使えますが、コミュニケーションのためのデザインが必要になってきます。
https://docs.python.org/3.8/library/multiprocessing.html#module-multiprocessing