multiprocessingで変数を共有する方法

Question

前提・実現したいこと

pythonのmultiprocessingモジュールを使用して、並列処理を行っております。
その際、Queueに変数を渡そうとすると次のようなエラーが出てしまいます。

変数の型の問題かと思ったのですが調べてもよくわかりませんでした。

また、多次元配列を渡す方法についても教えていただけると幸いです。

発生している問題・エラーメッセージ

TypeError: cannot pickle 'PyCapsule' object

試したこと

Queue,Array,Managerを試したが最終的に上記のエラーが出ます。

Answer 1

Python の multiprocessing パッケージを使う場合 Queue などに渡せる値は制限があります。
multiprocessing --- プロセスベースの並列処理 — Python 3.9.1 ドキュメント

普通のオブジェクトをそのまま渡すということはできません。何かしらこれらの形に当てはまるようデータ形式を削ぎ落とす必要があります。

追記：
manager を使って list の list で多次元配列を送ろうとしても list が Value しか取れなかったのでダメなはずです（ここは記憶が曖昧です、すみません）。配列の大きさが決まっているのならば一次元の Array につぶして受信した後復元すればよいでしょう。決まっていないなら例えば先頭二つの数は縦横の大きさを表すなどして自分で復元するしか無いでしょう。

Comments

[grintea]

ありがとうございます！
早速取り組んでみたいと思います。