c# - Pythonでメモリでのファイル受け渡し

Question

c# - Python間でのファイルの受け渡し

現在C#とPythonでファイルの受け渡しのソフトを作成しています。
(PythonはC#からプロセスを起動して、c#-Pythonは標準出力で通信)

c#で読み込んだBitmapファイルをPython側に直接渡したいと考えています。
c#でBitmapをローカルへ保存し、そのパスをPython側へ渡して、Python側で読み込むことは容易ですが
c#でPython側のメモリアドレスを確保して、その確保したメモリへコピー。
その後にメモリの先頭アドレス、Bitmap Width Height StrideをPython側に渡して
Python側で画像を復元ということを実施したいのですが、方法がわかりません。

最終的にはPython側でnumpy Arrayに出来ればと考えていますが

試したこと
1、C# - 別のC#プロセスへVirtualAllocExでメモリを確保してコピーし、その後Bitmapを展開することは出来ます
2、c# - PythonへVirtualAllocExでメモリを確保し、C#で作成したDLLをPythonで読み込むことは出来ますが、
Python側でBitmap、Byte配列で戻せません(PythonにBitmap、Byte配列が無い？)

Python側でメモリアドレスより画像を復元するようなことはそもそも可能なのかどうかが知りたいです。

コードを一部抜粋して記載します
Visual Studio 2017 c#
Python 3.6.6

よろしくお願いします

IntPtr processHandle = OpenProcess(PROCESS_ALL_ACCESS, true, p.Id);  //pはpythonのプロセス
IntPtr processMemory = IntPtr.Zero;

// Bitmapを読み込んで、サイズ、先頭アドレスを取得する
Bitmap bmp = new Bitmap(Application.StartupPath + @"\Test.bmp");
BitmapData bmpData = bmp.LockBits(new Rectangle(0, 0, bmp.Width, bmp.Height), ImageLockMode.ReadWrite, PixelFormat.Format24bppRgb);
int intSize = bmpData.Stride * bmp.Height;

try {
    // Slaveプロセスの仮想アドレス空間のメモリを確保
    processMemory = VirtualAllocEx(processHandle, IntPtr.Zero, intSize, MEM_COMMIT | MEM_RESERVE, PAGE_READWRITE);

    if (processMemory.Equals(IntPtr.Zero)) {
        return;
    }

    // 確保したメモリにデータをコピー
    int intWrittenSize;
    WriteProcessMemory(processHandle, processMemory, bmpData.Scan0, intSize, out intWrittenSize);

    // Python側へ情報を送信
    sw.WriteLine(bmp.Width + "," + bmp.Height + "," + bmpData.Stride + "," + processMemory);
}
finally {
    if (processMemory != IntPtr.Zero) VirtualFreeEx(processHandle, processMemory, intSize, MEM_RELEASE);
}

import numpy as np
import clr              # .netで作成したDLLを呼び出す

receive = input()
data = receive.split(',')       # カンマ区切りで分割

# data[0] Width
# data[1] Height
# data[2] Stride
# data[3] アドレス

# ---------------------------------
# .netで作成したDLLを読み出す
# ---------------------------------
clr.AddReference('ImageRead')
from ImageRead import clsImageRead      # 名前空間からクラスをインポート
imageRead = clsImageRead()      # インスタンス作成(コンストラクタが呼び出される)

# c#で作成したDLLの戻り値でBitmapを返している
img_bmp = imageRead.BitmapCreate(int(data[0]), int(data[1]), int(data[2]), str(data[3]))

# DLL内ではBitmapはできあがっているが、img_bmpにはSystem.Drwing.Bitmapの文字がはいる・・・。
# 戻り値をByte配列にした場合はSystem.Array[byte]という文字が入る
# Python側に画像や配列を戻すにはどうしたら良いのか？

# data[0] Width
# data[1] Height
# data[2] Stride
# data[3] アドレス
# 上記からnumpy arrayにできないか？

Answer 1

そんなあなたにはメモリマップトファイル(memory-mapped file)がお勧めです。
WindowsもUnix系も似た実装を持っていて、そのラッパを .net も Python も持ってます。
速度は恐ろしく速いので、ギガバイトクラスのファイルでも余裕です。

.NET のガイド メモリ マップト ファイル

mmap --- メモリマップファイル — Python 3.7.3 ドキュメント

Answer 2

共有メモリ
OS によって方法は異なります。

しかし、IPC で遅くて使い物にならないのであればそれほど改善はできないかもしれません。
一番速いのは複数のプロセスを使わないことなので、プロセスを統一してください。

Answer 3

プロセスごとにメモリは独立しています。直接的に、お望みのようなことはできません。
プロセス間通信(IPC)に付いて調べてみてください。
失礼、IPCですね。
私はMarshal.Copy で一旦Byte配列に入れてます。TCP通信なので、コードは直接参考にならないと思います。
RGBの順が異なっていたような？
それと、幅は8の倍数でないと、ズレるように思います。

Comments

[sadokazu]

プロセス毎にメモリは独立していることは把握しており、VirtualAllocExにて別プロセスのメモリ空間を確保し、そのアドレスにデータをコピ-しています。
取得したメモリ空間は取得された側のメモリになりますので、アクセスすることが出来ます
現にC# - 別のc#プロセスや、c#-Pythonプロセスへのメモリアクセスは出来ております。

プロセス間通信を実施した場合、巨大はファイルを送信した場合に時間がかかる為、メモリに直接アクセスしたいと思いました。

[sadokazu]

ソケット通信で送るのが一番汎用性が高いと思いますし、手っ取り早いのも事実だと思います。
byte列をPython側でソケットで送りつけ、Python側でNumpyで復元はまだ試していませんが、おそらく可能だと思います(RGBの順はお察しの通り違いますね)
(そもそも標準入出力で送りつけたらどうなるのか？)

ソケット通信での転送速度
メモリでの転送速度
ディスクに保存してパスを渡して再度読み込む速度
一番高速なのはメモリだと考えており、上記手法が存在するのかが知りたいと思い投稿しました
ちなみに画像サイズは100Mbyteとかなり巨大です