マップトメモリの書き込み速度

Question

マップトメモリを使用してプロセス間のデータ共有で使用しようと考えておりますが

3000×3000の24bit Bitmapのbyte配列をメモリに書き込むのにやけに時間がかかっている様に思え、これが正常なのかどうかが知りたいです

bmp.saveでRAMディスク等に書き込んだ方が速いのですが、何か間違っているのでしょうか？

プロセス間のメモリ共有については問題無く使用できますが・・・。

よろしくお願いします

MemoryMappedFile mmf;

Bitmap bmp = new Bitmap(Application.StartupPath + "\Test.bmp");   // 容量の大きいBitmapファイル
byte[] bytBmp = new byte[bmp.Width * bmp.Height * 3];

BitmapData bmpData = bmp.LockBits(new Rectangle(0, 0, bmp.Width, bmp.Height), ImageLockMode.ReadWrite, PixelFormat.Format24bppRgb);
Marshal.Copy(bmpData.Scan0, bytBmp, 0, bytBmp.Length);     // Marshal Copyは大体50msくらいでコピーできる
bmp.UnlockBits(bmpData);


mmf = MemoryMappedFile.CreateNew("input", bytBmp.Length);
MemoryMappedViewAccessor accessor = mmf.CreateViewAccessor();

accessor.WriteArray<byte>(0, bytBmp, 0, bytBmp.Length);　　　　// だいたい600～700msくらいかかる
accessor.Dispose();

Comments

[Zuishin]

そりゃ HDD 使ってるのでメモリと比べるのが間違ってます。

[sadokazu]

メモリ上にマッピングしている
↓
メモリに書き込んでいる
という解釈でしたが違うと言うことですね。
BitmapはHDDにSaveしても100msくらいで保存出来ますが、それ以下の速度になっています。
ちなみに厳密にはHDDではなくSSDでbmp.saveに90ms、マップトメモリでは600ｍｓで

[Zuishin]

メモリマップトファイルというのはメモリにマッピングされたファイルです。
メモリへの書き込み・読み込みと同じ手続きでファイルへの書き込み・読み込みができるようになります。
実際に使われているのが HDD か SSD か私が知るわけがありませんが、当然普通にアクセスするよりオーバーヘッドがあります。

[sadokazu]

なるほど。理解致しました。
丁寧な回答ありがとうございます。

Answer 1

メモリマップドファイルと遅いという結論になってしまっていますが、実際には違います。提示されているコードが遅い原因は MemoryMappedViewAccessor.WriteArray の実装に起因しています。メモリマップドファイルは効率的にディスクアクセスするため、ディスクとマッピングした場合も該当ディスクに対するシーケンシャル書き込みに準じた性能が出るはずです。ディスクにマッピングしない場合は通常のメモリアクセスよりやや遅いていどの速度にはなるはずです。コメントに記載されている５倍以上の速度差というのはちょっと考えられません。

MemoryMappedViewAccessor.WriteArray は最終的に以下のメソッドによって処理されています。
SafeBuffer.WriteArray
このメソッドを見ていただくとわかる通り、GenericStructureToPtr メソッドをループして呼び出しているだけです。3000 x 3000 の 24 ビットビットマップであれば、これを 2700 万回繰り返して呼び出すために提示されているぐらいの時間がかかっていると推測されます。

単純にバイト書き込みだけであれば、以下のように MemoryMappedViewStream を使用すると高速化可能です。これで単純なメモリコピーの 2 倍ぐらいの速度にはなるかと思います。

                using (var stream = mmf.CreateViewStream())
                {
                    stream.Write(bytBmp, 0, bytBmp.Length);
                }

なお、CreateViewStream の実装にも速度低下の原因があり、同サイズの領域をゼロ埋めする処理があるため通常のメモリコピーの倍ぐらいの速度になってしまっています。速度最速を目指すのであれば、MemoryMappedFile.SafeMemoryMappedFileHandle に対して MapViewOfFile を呼び出して生のポインタを取り出して書き込むとメモリアクセス速度と同程度にはなります。

Comments

[dodox86]

横からすみません。私の方でも質問者さんのコードをHDD（読み書き共に約180MB/s)上で追試したとき、結果が同じ傾向を示していて、コード前半のファイルからの読み出し部分はCrystalDiskMarkで報告されるシーケンシャル読み出し速度にだいたい一致していたものの、MemoryMappedViewAccessor.WriteArray の書き込み速度は大きく違っていて解せませんでした。ご提示のMemoryMappedViewStreamでの方法で書き込み速度も同様に一致するようになりました。大変参考になりました。

[sadokazu]

メモリへの読み書きと同じようにファイルへの読み書きができる＝速度はファイル作成と同じ
という解釈になっておりました。(単純にファイル作成より遅いようにも思いましたが・・・)
ご指摘していただいたコードで確認したところ、Marshal.copyと同じ程度まで速度向上させることができました。
大変参考になりました。
ありがとうございました。

Answer 2

マップトメモリによる高速化とは、ボトルネックである物理ファイルのI/Oを最小限に抑えるロジックを組む事にほかなりません。
けして物理ファイルのI/O自体が速くなるわけではありません。
どんなロジックを組むかは、目的次第です。
例えばBMPの中の一部の矩形範囲を編集するなら、対象の領域は連続しないですよね。
その場合は複数の領域に対してViewを作り、その複数のViewを統合して疑似的に一つのストリームとしてアクセスするようにするなど。

Answer 3

質問への追記にてマップトメモリでの共有について理解しました。
ありがとうございます