multiprocessing で Queue を使ったときに、Queueが更新されない

Question

以下のようにqueueに値を入れ、その値を取得しようとすると、queueに値が入っていないと出力されます。
原因がわかる方がいましたらご教授下さい

from multiprocessing import Queue

def main():

    test = Queue()

    test.put(123)

    print(test.empty()) #True

    g = test.get()

    print(test.empty()) #True



if __name__ == "__main__":
    main()

Comments

[TakaiY]

普段、multiprocessing.Queueを使っていて問題が発生したことは無いので、ちょっと興味があるのですが、問題は、「.empty()」が正しい値を返さないということでしょうか？ それとも、putしたほずなのにQueueに入っていない=取り出せないということでしょうか？

[kingsman3312]

queueに値を入れることも取り出すこともできるのですが、putしたのに「.empty()」がTrue、つまり値が入っていないと判断されます。

Answer 1

■MultiprocessingのQueueは信用できないというコメントがリファレンスに見つかりました。

empty()

Return True if the queue is empty, False otherwise. Because of multithreading/multiprocessing semantics, this is not reliable.

ですので、ちゃんとしたいときは普通のQueueをインポートしないといけないようです。
勉強になりました。

---

プログラムの挙動はちゃんとしています。
もし意図と違っていれば、「破壊読み出し」を理解する必要があると思います。
元のコードをほんの少し（おせっかいな通知が出るように）修正しました。

from multiprocessing import Queue

def main():

    test = Queue()

    ############################
    #　初期状態
    print("Empty?",test.empty())
    # Empty? True
 
    ############################
    #　Queueに値を入れた
    test.put(123)
    print("PUT!")
    # PUT!

    ############################
    #　値を入れた状態
    print("Empty?",test.empty())
    # Empty? False

    ############################
    # 値を破壊読み出しした
    g = test.get()
    print("GET g:",g)
    # GET g: 123

    ############################
    #　破壊読み出しによって空になった状態
    print("Empty?",test.empty())
    # Empty? True

if __name__ == "__main__":
    main()

get()をすると変数に中身が入り、Queueには値が1つしか入っていなかったため、（破壊読み出しによって）Queueの中身が空になります。
Queueに入っていた値を知りたいのであれば、get()したときの変数gをprint()する必要があります。

Comments

[kingsman3312]

元のコードで、testに値を入れたのにtest.empty()がTrueになるのはなぜなんですか？
何回か実行すると5回に1回くらいはFalseになります。

[退会済みユーザー]

multiprocessingのQueueが良くないかもしれません。
こちらでもwhile Trueにして確認したところ、代替ですが2-3回/100回で同じことが起きました。
一方、
インポート部分をimport queueに挿げ替え、
Queueを使うところをtest = queue.Queue()と変更すると
50万回やっても一度も失敗しませんでした。

[kingsman3312]

ただ、普通のqueueだと、multiprocessingで異なるプロセスとの通信に使うことはできないですよね。
難しいですね。

[退会済みユーザー]

> 異なるプロセスとの通信に
pipeであればqueueのように使えると思います。
文字通りプロセス間でデータをパイプのようにつないでしまう処理です。
https://note.crohaco.net/2017/python-multiprocessing/
Queueも実態はPipeらしいので何な工夫がいるかもしれませんが…