php://temp/maxmemory に書き込むより、ローカルファイルに書き込んだ方が早い理由について

Question

素朴な疑問です。
数百MBのCSVファイルをPHPで処理しています。
ファイルのエンコードがcp932でfgetcsvで誤作動するのでutf-8に変換しています。
ファイルそのものを変更する必要はないので、テンポラリに格納しようとしています。
そのテンポラリファイルが実ファイルより、メモリに書き込んだ方がはるかに遅いです。
想定ではメモリの方が比較にならないほど早いと思っていたのですが…
これはなぜなんでしょうか。
それとも扱い方が悪いのでしょうか。

csvのファイルサイズ： 約120MB～500MBほど
memory_limit: システムの空きメモリを見て動的に設定（テストでは3GBほど）
TMP_FILE_MAX_MEMORY: memory_limit の3/2

ご教授のほど、よろしくお願いします。

// 遅い！！
//$fp = fopen("php://temp/maxmemory:".TMP_FILE_MAX_MEMORY, 'r+b');
// 普通
$fp = fopen("C:/test.csv", 'w+b');

$tfp = fopen($csv_file, "rb");
while(($line=fgets($tfp))!==false){
    // この行をコメントアウトすると一瞬で終了
    // つまり、読み込みのオーバーヘッドは関係ないと思います
    fwrite($fp, mb_convert_encoding($line, 'UTF-8', 'sjis-win'));
}
fclose($tfp);
rewind($fp);

Windows7
PHP 5.6.0

Answer 1

確信のある回答ではないことを、初めにお断りしておきます。

通常のファイルにfwriteする場合、（OS側で一定のバッファがあるとはいえ）書き出してしまえばメモリにデータは残りません。一方で、PHP側でテンポラリメモリに入れると、まさにその分だけPHP管理のメモリに入るわけで、しかもデータ量は行を追うごとに延びてきます。

つい最近どこかで見たのですが、PHPの実行時間のうち3割程度が動的メモリ操作で消費されているとのことで、この例のように「徐々に領域を延ばして100MB単位のメモリを消費する」ような使い方は、ただでさえ処理の重いメモリマネージャに必要以上の負担をかけてしまっているのだと思います（なお、PHP 7で改善予定ではありますが）。

Comments

[al_aya_yuka]

回答有難うございます（*^_^*）

すごく納得の行く内容でした。
でもそうなってくるとphp://memory はどこで威力を発揮できるのでしょうね。。。

Answer 2

直接の回答では無いですが

ファイルのエンコードがcp932でfgetcsvで誤作動するのでutf-8に変換しています。

このアプローチ自体が誤っていると思います。以下のようにロケール設定をすることで正しい読み出しが可能です。

【php】fgetcsv()はロケールの設定に依存する

setlocale(LC_ALL, 'ja_JP.sjis');
$fp = fopen('C:\test.csv', 'rb');
while ($row = fgetcsv($fp)) {
    mb_convert_variables('UTF-8', 'SJIS-win', $row);
    // $rowで何かする
}

…しかし、この方法だと結局何回も mb_convert_variables 関数を呼び出すことになってオーバーヘッドが大きいので、以下のようにストリームフィルタを使う方が理想的かもしれません。こっちだとOSに依存もしないので、移植性の面からも優れていると言えると思います。

ストリームフィルタで文字コード変換してみる

$fp = fopen('C:\test.csv', 'rb');
stream_filter_prepend($fp, 'convert.iconv.cp932/utf-8', STREAM_FILTER_READ);
while ($row = fgetcsv($fp)) {
    // $rowで何かする
}

もしテンポラリファイルを使うにしても、tmpfile 関数を使うのがおすすめです。

Comments

[al_aya_yuka]

間違えて、BAを押してしまいました。。。

ロケール依存の話は多少知識がありまして、仰るとおりなのですが、それではいわゆる５C問題が解決できなかったのです。
CSVのデータは「表」「貼」「ソ」を含んでおり、その行自体がおかしなことになってしまうのです。

しかしながらmb_convert_variablesやストリームフィルタは知らなかったことなので、実践してみようと思います。
ありがとうございました。

Answer 3

気になったので試してみた感じ php://memory などが異様に遅くなるのは Windows 特有のようです。

下記はいずれも PHP 5.6.3 で、CentOS 6 は remi-56 のバイナリ、Windows 7 は公式の x64 nts のバイナリで、-n オプション付きで実行しています。

（CentOS 6 はディスクイメージが iSCSI の先にある HDD 上のファイルな仮想環境なので I/O が普通より遅いかもです ）

変数に追記

<?php
$m = microtime(true);

$a = "";
for ($i=0; $i<100; $i++) {
    $a .= str_repeat("x", 1024*1024);
}
unset($a);

var_dump(microtime(true) - $m);
var_dump(memory_get_peak_usage());

// CentOS 6
// float(0.051472187042236)
// int(106134088)

// Windows 7
// float(3.6982111930847)
// int(106144824)

php://memory に追記

<?php
$m = microtime(true);

$fp = fopen("php://memory", "r+b");
for ($i=0; $i<100; $i++) {
    fwrite($fp, str_repeat("x", 1024*1024));
}
fclose($fp);
unset($fp);

var_dump(microtime(true) - $m);
var_dump(memory_get_peak_usage());

// CentOS 6
// float(0.049097061157227)
// int(106135176)

// Windows 7
// float(14.518830060959)
// int(106146232)

HDD上のファイルに追記

<?php
$m = microtime(true);

$fp = tmpfile();
for ($i=0; $i<100; $i++) {
    fwrite($fp, str_repeat("x", 1024*1024));
}
fclose($fp);
unset($fp);

var_dump(microtime(true) - $m);
var_dump(memory_get_peak_usage());

// CentOS 6
// float(1.1221830844879)
// int(1277448)

// Windows 7
// float(0.20701193809509)
// int(1288560)

tmpfs上のファイルに追記（CentOS のみ）

<?php
$m = microtime(true);

$fn = tempnam("/dev/shm/", "xxx");
$fp = fopen($fn, "r+b");
for ($i=0; $i<100; $i++) {
    fwrite($fp, str_repeat("x", 1024*1024));
}
fclose($fp);
unset($fp);
unlink($fn);

var_dump(microtime(true) - $m);
var_dump(memory_get_peak_usage());

// CentOS 6
// float(0.046942949295044)
// int(1278472)