multiprocessing の Queue からget()で値を取得できない。

Question

以下のコードを実行すると、関数something内のqueue.get()の所で処理が止まります。
queueにはリストをputしているのですが...
原因が分かる方がいましたらご教授下さい。

from multiprocessing import Process, Queue

def something(queue):

    print("1")
    args = queue.get()
    print("2")

    for i in range(len(args)):

        args[i] = args[i]**2

    queue.put(args)


if __name__ == "__main__":

    test_list = [1, 2, 3, 4, 5, 6, 7, 8, 9]
    test_queue = Queue()
    test_queue.put(test_list)

    p = Process(target = something, args = (test_queue,))

    p.start()

    result = test_queue.get()

    p.join()

    print(result)

##出力
#1

Answer 1

問題点: 最初にputしたリストは、先にメインプロセス側で読み出されてます。

解決策:
戻り値をメインプロセス側で受けたい場合は、
送信用・受信用に２つのキューを準備します。

同じキューを双方で使いまわすのは、
可能ですがマルチプロセスの利点が薄れます
読み出し順序の制御が必要になってくるので、
必然的に、非同期ではなく同期コードとなってしまいます。

---

コードを追記

# 恐らく期待されている挙動をするコード
# Event オブジェクトでキューからの読み出しを待ちます

from multiprocessing import Process, Queue, Event

def something(queue, event):

    print("1")
    args = queue.get()
    event.set()
    print("2")

    for i in range(len(args)):

        args[i] = args[i]**2

    queue.put(args)


if __name__ == "__main__":

    event = Event()
    test_list = [1, 2, 3, 4, 5, 6, 7, 8, 9]
    test_queue = Queue()
    test_queue.put(test_list)

    p = Process(target = something, args = (test_queue, event))

    p.start()
    event.wait() # プロセス側で読み出されるまで待機

    result = test_queue.get()

    p.join()

    print(result)

# 2つのqueue を使う例
# queueA ... メインで put 子プロセスで get
# queueB ... 子プロセスで put メインで get

from multiprocessing import Process, Queue

def something(queueA, queueB):

    print("1")
    args = queueA.get()
    print("2")

    for i in range(len(args)):

        args[i] = args[i]**2

    queueB.put(args)


if __name__ == "__main__":

    test_list = [1, 2, 3, 4, 5, 6, 7, 8, 9]
    queueA = Queue()
    queueB = Queue()
    queueA.put(test_list)

    p = Process(target = something, args = (queueA, queueB))
    p.start()

    result = queueB.get()

    p.join()

    print(result)

※ print() はマルチプロセスで使うには注意が必要です。
マルチプロセスでのログ出力はlogging モジュールの QueueHandler を調べて見て下さい。
https://docs.python.org/ja/3/howto/logging-cookbook.html#logging-to-a-single-file-from-multiple-processes

Comments

[kingsman3312]

送信用、受信用に二つのキューを用意したときのコードを書いてくれると嬉しいです。
うまく理解が出来ませんでした。
よろしくお願いします。

[teamikl]

問題点は把握されましたか？どの点が理解できないのでしょう？

- queue を２つ作りプロセスに渡して、
- 片方はメインから put サブプロセスで get
- もう片方は サブプロセスで put メイン側で get

少し複雑になりますが、上から2つ目の例です。親プロセスに結果を返すコード例
> passing results back to the parent process

https://pymotw.com/3/multiprocessing/communication.html