PHPで大量のデータをCSV出力する際のメモリ不足について

Question

###前提・実現したいこと
5万件以上のデータをCSVダウンロードしようとすると、メモリ不足になってしまいます。
プログラミングの記述方法に問題がありますか？

※3万件のデータはダウンロードできるので、メモリ不足と判断しています。

###該当のソースコード
/config/myconf/csvExport/Hoges.php

$header = ['ID::id', '会社名::name'];
	
	$this->response->body(fputcsv($fp,$header));
	
	foreach ($query as $data) {
		$data = [
			$data['id'],
			$data['name']
		];
		$this->response->body(fputcsv($fp, $data));
	}

/src/Controller/HogesController.php

public function export($query)
	{
		$this->autoRender = false;

		stream_filter_register('eolFilter', 'App\\Filters\\CsvEolFilterHelper');
		stream_filter_register('encodeFilter', 'App\\Filters\\CsvEncodeFilterHelper');

		$fp = fopen('php://output', 'w');

		// フィルタを開いたストリームに付加する
		stream_filter_append($fp, 'eolFilter');
    	stream_filter_append($fp, 'encodeFilter');

		// ダウンロードさせる
		header('Content-Type: text/csv');
		header('Content-Disposition: attachment; filename="テスト.csv"');
		
		include ('../config/myconf/csvExport/Hoges.php');

		fclose($fp);
	}

/src/Filters/CsvEncodeFilterHelper.php

namespace App\Filters;

// 文字コードをUTF-8からShift-JISに置換するフィルタ
class CsvEncodeFilterHelper extends \php_user_filter {
	function filter($in, $out, &$consumed, $closing) {
		while ($bucket = stream_bucket_make_writeable($in)) {
			$bucket->data = mb_convert_encoding($bucket->data, 'SJIS-win', 'UTF-8');
			$consumed += $bucket->datalen;
			stream_bucket_append($out, $bucket);
		}
		return PSFS_PASS_ON;
	}
}

/src/Filters/CsvEolFilterHelper.php

namespace App\Filters;

// 改行コードをPHP_EOLからCR+LFに置換するフィルタ
class CsvEolFilterHelper extends \php_user_filter {
	function filter($in, $out, &$consumed, $closing) {
		while ($bucket = stream_bucket_make_writeable($in)) {
			$bucket->data = str_replace(PHP_EOL, "\r\n", $bucket->data);
			$consumed += $bucket->datalen;
			stream_bucket_append($out, $bucket);
		}
		return PSFS_PASS_ON;
	}
}

###備考
以前の質問
https://teratail.com/questions/78597

参考
https://teratail.com/questions/21711

Answer 1

配列を1万件ずつにわけて、順にfputcsvしてはいかがでしょうか？

Comments

[ssk]

ありがとうございます。
array_chunkを利用して、$queryを分けて、、、ですかね？＞＜

[ssk]

質問とは異なっていたため、別で質問致しました。
そちらへの回答までありがとうございます＞＜

Answer 2

メモリー不足のエラーがどの場所で出ているのか分かりませんが・・・。
ご提示の書き方だとどこに問題があるかの切り分けが難しくなるように思います。
Hoges.phpくらいの量で別ファイルにしてincludeするのもちょっとどうかなと。。

ダウンロードのheaderを送信してから出力データを作るのではなく、
ダウンロード用CSVを作ってからそのCSVをダウンロードするようにしてはどうでしょうか。
「CSVを作る」→「CSVをダウンロード」の流れをすることにより「5万件のデータ」が悪いのか、「ダウンロードの処理」が悪いのかの切りわけが出来ます。
もし「CSVを作る」の時点だと5万件のデータをダウンロードすること自体が問題なので、ダウンロードする情報を絞るとか（件数ではなく項目）、前回の回答にあったようにmemory_limit()を増やすとかの工夫になります。
もし「ダウンロードの処理」の時点だとfread()で少しずつ送信というやり方に切り替える方法があります。参考：ダウンロードすんならfile_get_contentsよりfreadの方が良さげ？
または前回私が提案したようにzipファイルにしてサイズを小さくするとか。

Comments

[ssk]

>>Hoges.phpくらいの量で別ファイルにしてincludeするのもちょっとどうかなと。。、
↑他のデータもCSV出力するため、共通箇所以外はincludeで処理するようにしています。

>>「CSVを作る」→「CSVをダウンロード」の流れ
↑ export関数の最後に以下を移動しました。しかし、問題は解決できませんでした。
header('Content-Type: text/csv');
header('Content-Disposition: attachment; filename="テスト.csv"');

>>ダウンロードの処理に問題がある場合
zipファイルでのダウンロードは諸事情のため、避けることになりました。
ご提示いただいたURLを参考にfread()を利用したいと思います。

[ssk]

※追記
zipファイルでのダウンロードを試しました。
しかし、メモリ不足は解消されませんでした。

※出力件数を100件にして、zipファイルでダウンロードはできています。