メモリ内で大容量データの管理

Question

::SetFilePointerEx()、::ReadFile()、::WriteFile()のような、ポインタ位置(オフセット)指定(バイト数)、読み書きサイズ指定（バイト数）などをしてファイル操作をするような動作をメモリ内で行えないかと考えております。
適したライブラリなどはございませんでしょうか。

以下のような動きを現在実装しております。
①基本データのバイナリファイルを読む。
②仮置きファイルを作り、基本データを書き込む。
③変更箇所ファイルのデータを読み込む（複数あるので、複数ループ）
データ内容
１：基本データのポインタ位置
２：変更データのサイズ
３：変更データ
④変更箇所データの１、２を基に、３のデータを仮置きファイルのデータを上書き。
⑤仮置きファイルデータを読み込んで、最終出力ファイルに出力。

最終出力ファイルは、基本データ以外も出力するものがあるため、仮置きファイルを別途作っています。
ただ、ファイル出力をすることで、処理も遅く、性能が悪いです。
そのため、内部で同様のことを行えないかと考えている次第です。

Answer 1

メモリマップトファイルという仕組みが適しているかも知れません。
「ファイルマッピング」や「CreateFileMapping()」などのキーワードでググってみてください。例えば

• ファイルをメモリのように「メモリマップドファイルクラス

http://marupeke296.com/DXCLS_MemoryMappedFile.html

• ファイルマッピング

http://wisdom.sakura.ne.jp/system/winapi/win32/win150.html

などの解説が分かりやすいでしょうか。
なお、後者のサイトに解説があるように、UnmapViewOfFile()は遅延書き込みするので、FlushViewOfFile()が必要だったかと思います。ご注意ください。

Comments

[JanTh1989]

回答ありがとうございました。
ファイルマッピングというものを知りませんでした。
参考にさせて頂きます。

Answer 2

ライブラリは知りませんが、全データをvectorに読み込んで適宜編集、でなにか支障があるのでしょうか。
(あるいは、いわゆる「バイナリエディタ」のサンプルプログラムがあると参考になるかも知れません。私は見つけていませんが)

あと、直接は関係ありませんが、変更はファイルの後ろから順に適用していかないと、「ポインタ」の位置がずれることがありますね。あと、変更が重なっていたりしないかの検査も要りそうな気がします。事故時の回復を考えると、操作はオンメモリでやるにしても変更を開始するまえのデータはバックアップファイルとして取っておくのがいいような気がします。

Comments

[JanTh1989]

回答ありがとうございます。
データを配列という考えが抜けておりました。
こちらも考慮に入れます。

また、ファイルの後ろから、というのは、助かる情報でした。
ファイル書き込みでなぜかポインタ位置0指定をしたのに、何故か2バイト目に書き込むというよく分からない現象がでておりました。
恐らく、その頂いた情報の現象が起因しているのではないかと思われます。
全体的に、検討、見直しを行うことにします。