python 独立プロセス間オブジェクトの取得

Question

やりたいこと

別プロセスで起動しているオブジェクトの取得
重たいファイルなどを先にメモリ上に展開しておいて、別プロセスからはその情報を使うだけにしたい。

###イメージ

class C(object):
    def foo(self):
        pass
obj=C()
while True:pass  #このプロセスが生き続けるためのループ

別プロセスから上記でメモリ上にあるobj変数を取得したい。

試したこと

同じプロセスならばガベージコレクションの対象オブジェクトからオブジェクトID(名)から取得可能だった。

import gc
class C(object):
    def foo(self):
        pass
def objects_by_id(id_):
    for obj in gc.get_objects():
        if obj == id_:
            return obj
    raise Exception("No found")
if __name__=='__main__':
    i=C()
    print(i)
    print(objects_by_id(i))

###考えたこと
プロセス間のソケット通信を行う。ただ、オブジェクトをそのまま送れないためシリアライズ化しなくてはいけない。一度、展開したものをシリアライズしてもあまり意味がないと考えた。

環境

windows
python3

###参考
https://code.i-harness.com/ja/q/154fbc

Answer 1

プロセス間のソケット通信を行う。ただ、オブジェクトをそのまま送れないためシリアライズ化しなくてはいけない。一度、展開したものをシリアライズしてもあまり意味がないと考えた。

基本的にこれが正しく、シリアライズしてプロセス間通信で送る以外の方法は原則的にありません。「基本的に」「原則的に」というのは共有メモリのサポートも一応あるからですが、型の制約がきつく、pythonオブジェクトをそのまま送れる訳でもありません。

https://docs.python.jp/3/library/multiprocessing.html#sharing-state-between-processes

極論すれば、RAMディスクとかインメモリDBを用意してそこにシリアライズしたオブジェクトのdumpを置いておくのと大差ありません（それはそれで速くなるだろうし、プロセス間通信より効率が良い可能性も大いにあるけど）。