MySQLから取得した大量のレコードをCSVで吐き出す方法を教えてください

Question

MySQLにある大量のデータをCSVで吐き出すプログラムをつくっています。

下のようなプログラムを作ったのですが、参照するデータ（レコード）が大量の場合、スクリプトが途中で止まってしまい処理されません。

$result = $db->select("select * from tbl where userid=2");

$data = "";
for($i=0;count($result)>$i++;$i++)
{
	$data .= $result[$i]["name"].",".$result[$i]["score"]."\n";
}

おそらく、MySQLから取得したデータをもう一度For（）内で
$dataに入れ直している為、メモリーが一杯になってしまう為かと思います。

膨大なデータをCSVで吐き出す場合、皆さんはどのように処理されているのでしょうか？

Answer 1

色々と原因が考えられるかな。
他の回答者さんと被ってない内容だと以下の2つを思いついた。

• 普通にブラウザからアクセスしている場合、30秒ルールに抵触している
• MySQLのtblテーブルのuser_idインデックスが設定されていない→テーブルをフルスキャン→PHPの30秒ルールで落ちる

Answer 2

メモリが足りないくらいのデータとはどのくらいの件数とカラム数があるのでしょうか？
本来CSVデータの出力は配列でうけてからfputcsvで一気に流し込むほうが
効率的ですが、呼び出したデータの全てを配列などで確保できない場合は、
１行ごとにテンポラリファイルにfwriteしていけば、メモリは最低限に
抑えられると思います。

Answer 3

どのくらい大量なのかによりますが、思いつく2項目です。

ini_set('memory_limit', '256M');
でメモリ量を増やす

"select name,score from tbl where userid=2"
としてデータ量を減らす。

Answer 4

原因をちゃんと確認したほうが良いように思えます。
そんなに大きな抽出結果なのですか？

もし、ホントに大きな事が原因なのであれば、分割して抽出すると動くようになるかもしれないです。
ページネーションと同じイメージで上限を決め、何度かに分けて抽出することで、一度に使用するメモリを押さえるスクリプトが書けると思います。

Answer 5

定番は「MySQLのSELECT文でcsvを出力する」の記事の通りです。
バックアップに重宝です。さらにSELECT文として、出力したいフィールドや計算結果を指定して、フィルターや整列をかけて出力することもできます。