Multiprocessingで文字列をプロセス間で共有する方法(Python)

Pythonのmultiprocessingモジュールで、プロセス間で文字列をやりとりするにはどうすれば良いでしょうか。

Queueを試してみたのですが、whileによる無限ループにおいて、put()により入れていた文字をget()で取得することは出来ましたが、ループが回らなくなってしまいます。

Valueでctypes(?)を使った例なども簡単にですが試したところうまく動作していません。

実現したいのは、
プロセス間(主にmainと生成したプロセス)で、文字列(string)をやり取りすること
です。
セーフなやり方なら何でも良いです。

わかる方がいらっしゃいましたら、具多例を挙げていただけますと大変助かります。
どうぞよろしくお願いいたします。

python
1追記
2プログラムの構成を示します
3
4def func():
5    # この関数で文字列を取得します
6    
7
8class Proc(multiprocessing.Process):
9    def __init__(self, flag):
10        super(Proc, self).__init__
11        self.flag = flag
12
13    def run(self):
14        # ここにいくつか処理を書いています
15        # **ここで文字列を取得したいです(データの受信)**
16
17if __name__ == '__main__':
18    # ここで変数などの宣言をしています
19    flag = Value('i', 0) # 整数のやり取りは実装できました
20    p = Proc(flag).start()
21
22    # **ここに文字列を扱うための何かを宣言したいです**
23
24    while True:
25        # **ここで文字列を取得したいです（データの受信）**

tiitoi

2018/09/27 15:43

やり取りは「一方からもう一方へデータを送信する」のか、それとも「お互いに送受信する」のかどちらでしょうか

masayasasaki96

2018/09/27 16:26

質問に追記致しました。ある関数内の文字列を、プロセスを越えて取得(?)といった形になるのでしょうか。よろしくお願い致します。

masayasasaki96

2018/10/01 13:00

皆さんへのコメントの場所を間違えて投稿してしまいましたが、ありがとうございました‼︎

行動規範の内容に同意します

回答3件

ベストアンサー

Queueを試してみたのですが、whileによる無限ループにおいて、put()により入

れていた文字をget()で取得することは出来ましたが、ループが回らなくなってしまいます。

問題なのは、プロセス間通信に Queue を使ったことでははく、単に Queue.get()を引数無しにブロック関数として使用したことなのでは無いでしょうか？であれば Pipe を使おうが結果は一緒です。

個人的には今回のように単方向のデータ転送においてQueueを使用するのは全く問題ないかと思っております。

Queue.get() は引数無しの場合Queueにデータが入るまで待ち続けますので、データが来ない場合は当然『ループが回らなくなって』しまいます

それを避けるためにはget()側の処理を、単に Queueにデータが空かかどうかを判定する Queue.empty() を使って

Python
1if not queue.empty():
2    ret = queue.get()

としても良いですし、get()の引数にデータが来るまで待たないようにする引数 block=False や最大の待ち時間を設定する timeout=** を使って

Python
1try:
2    ret = queue.get(block=False)
3except Empty:
4    pass # データ無かった・・・

とすることで、問題が解決する気がします。

一応サンプル

Python
1from multiprocessing import Process, Queue
2from queue import Empty
3import time
4
5class Proc(Process):
6    def __init__(self, queue):
7        super(Proc, self).__init__()
8        self.queue = queue
9
10    def run(self):
11        time.sleep(5)
12        self.queue.put('HOGE')
13
14if __name__ == '__main__':
15    queue = Queue()
16    p = Proc(queue).start()
17
18    while True:
19        try:
20            ret = queue.get(timeout=5)
21            print("RECEIVE", ret)
22        except Empty:
23            pass
24
25        print('*')
26        time.sleep(1)

投稿2018/09/28 00:05

magichan

総合スコア15898

masayasasaki96

2018/10/01 12:44

magichanさん、詳しく教えてくださりありがとうございました！

masayasasaki96

2018/10/01 12:55

ご親切にご回答くださった三人の方々ありがとうございました！！最終的にPipeを用いた文字列のやり取りで実装できました。 Queueで上手くいかなかった理由は、根本的な思い違いにありました。普通の変数のように何度も値を取り出せると考えていましたが、よくよく考えてみると「Queue(キュー、待ち行列)」ですので、データを取り出したら空になるのでした...。こんなところで詰まっていましたが、皆様のアドバイスにより解決できました。改めてありがとうございました。またよろしくお願いいたします！

行動規範の内容に同意します

2つのプロセス間でメッセージを送受信したい場合は、Pipe が使えます。
3つ以上のプロセス間でデータを送受信したい場合は、Queue がいいでしょう。

python
1import random
2import time
3from multiprocessing import Process, Pipe
4
5def test(ep):
6    while True:
7        # メッセージが存在すれば、受信する。
8        # メッセージが存在しなければ、ブロックされる。
9        msg = ep.recv()
10        print('child got message: ', msg)
11
12
13if __name__ == "__main__":
14    ep1, ep2 = Pipe()  # 2つのエンドポイントを返す。
15
16    t = Process(target=test, args=(ep2,)).start()
17
18    while True:
19        # メッセージを送信する。
20        ep1.send('hello')
21        time.sleep(0.5)

投稿2018/09/27 17:42

tiitoi

総合スコア21956

masayasasaki96

2018/09/27 23:54

tiitoiさん、ご丁寧にありがとうございます！示して頂いたプログラムを実行したところ確かに動作しました‼︎ しかし、質問の欄に示したプログラム上ではうまく動きません。以前自分で試したQueueのようにwhileが回らず止まってしまいます。 QueueとPipeが同様の挙動であることから、当方、オブジェクト指向があまり理解できておらずこれが足かせになっているのかも知れませんが、classを使っているのが原因かと考えております。質問欄のプログラム構成では実現できないのでしょうか。。この辺りについて何かアドバイスが頂けますと幸いです。どうぞよろしくお願いいたします。

行動規範の内容に同意します

PythonのMultiprocessでプロセス間での値の共有

リンク先の「共有メモリ(Shared memory)」見る感じ出来そうです

プロセス間での状態の共有

引数'u' Py_UNICODE Unicode文字(unicode型)
上記は試してみましたか？

但し、非推奨でPython4では削除予定とのことなので、Multiprocessで文字列を共有すること自体が非推奨なのではないでしょうか？

思いつく代案は文字列の代わりにint型で文字コードをリスト配列で共有するなどがでしょうか。
詳しい方の回答があればいいと思いますし私も知りたいです。

以下リファレンス

num と arr を生成するときに使用されている、引数 'd' と 'i' は array モジュールにより使用される種別の型コードです。ここで使用されている 'd' は倍精度浮動小数、 'i' は符号付整数を表します。これらの共有オブジェクトは、プロセスセーフでありスレッドセーフです。

from multiprocessing import Process, Value, Array

def f(n, a):
    n.value = 3.1415927
    for i in range(len(a)):
        a[i] = -a[i]

if __name__ == '__main__':
    num = Value('d', 0.0)
    arr = Array('i', range(10))

    p = Process(target=f, args=(num, arr))
    p.start()
    p.join()

    print(num.value)
    print(arr[:])
このサンプルコードを実行すると以下のように表示されます

3.1415927
[0, -1, -2, -3, -4, -5, -6, -7, -8, -9]

投稿2018/09/27 15:48

総合スコア1009

2018/09/27 16:45

opyonさん、ご回答くださりありがとうございます！ unicodeはまだでしたので試してみようと思います。 python4で削除予定とは少し驚きました。貴重な情報をありがとうございます。少し話が広がりますが、 linuxにおいて、(言語はなんでも良いですが例えば)pythonで、「音楽を再生しながら他の処理をしたい」というところからmultiprocessingにたどり着いたのですが、他にどのようなやり方があるでしょうか。もし良い方法をご存知でしたら、教えて頂けませんでしょうか。よろしくお願いいたします。