CakePHP3で数万件のデータを出力

Question

###前提・実現したいこと
数万件を一度に出力しようとすると、メモリ不足になります。
解消するために、5,000件ずつ処理する方法を選択しました。
しかし、2回目のループ（5,001〜）エラーになってしまいます。

headers already sent byで調べてみましたが、解決できず、、
助言いただけましたら、幸いです。

###発生している問題・エラーメッセージ

Cannot modify header information - headers already sent by

###該当のソースコード

// 5000件ずつデータを取得するようにする
		$limit = 5000;
		$params = ['limit' => $limit, 'offset' => 0];

		while ($dataArr = $this->Hoges->find('all', $params)->hydrate(false)->toArray()) {

			while(list($key,$val) = each($dataArr)){

				$data = [
					$val['id'],
				];

				fputcsv($fp, $data);

			}

			$params['offset'] += $limit;

		}

###補足情報(言語/FW/ツール等のバージョンなど)
前回の質問
https://teratail.com/questions/78718

参考URL
http://beyondjapan.com/blog/2017/04/cakephp-findall-memoryleak-2

###追記
エラー全文

<pre class="cake-error"><a href="javascript:void(0);" onclick="document.getElementById('cakeErr5933b732a69a8-trace').style.display = (document.getElementById('cakeErr5933b732a69a8-trace').style.display == 'none' ? '' : 'none');"><b>Warning</b> (512)</a>: Unable to emit headers. Headers sent in file=/src/Controller/HogesController.php line=163 [<b>CORE/src/Http/ResponseEmitter.php</b>

Comments

[shi_ue]

質問内容に、「2回目のループ（5,001〜）エラーになってしまいます」とありますが、提示されているコードでは、ループしていません。エラーが発生しているコードを記述してください。

[ssk]

エラー全文を追記致しました。

[ssk]

該当コードはfputcsv($fp, $data);です。

[ssk]

ループしていない、、、list($key,$val) = each($dataArr)の書き方に誤りがありますか？

[shi_ue]

いえ、5001件目からのデータはfindしてませんよ？

[ssk]

参考URLを元に5,000件ずつ取得するコードを書きましたが、そのコードが間違っているということでしょうか？

[shi_ue]

わたしの目が節穴でなければ、質問文に載っているコードでは5000件を出力するだけです。参考URLに載っているコードだと、ちゃんと5000件ごとに取得しています。

[ssk]

whileのループ構成を変更したところ、5万件をメモリ256Mで出力することができました！

Answer 1

shi_ue様の助言から、whileの書き方を変更しました。
メモリ256Mで5万件のデータ出力ができるようになりました。

while ($dataArr = $this->Hoges->find('all', $params)->hydrate(false)->toArray()) {

            while(list($key,$val) = each($dataArr)){

                $data = [
                    $val['id'],
                ];

                fputcsv($fp, $data);

            }

            $params['offset'] += $limit;

        }

Comments

[ssk]

Kosuke_Shibuya様、shi_ue様
低評価4件がついてしまいました。

低評価がお二方でしたら、コード上に問題または回答上に失礼がありましたでしょうか？この場を借りてお詫び申し上げます。。

Answer 2

header関数より前で、エラーメッセージが出力されるから、header でエラーになっているだけですきっと。

Comments

[ssk]

ありがとうございます。
そもそも今のプログラムが間違っているということでしょうか？

[退会済みユーザー]

正しく動かないということは、間違っているということですよね。あっているとはお世辞も言えないと思いますが・・

そもそも、メモリエラーがあるということなのでから、それを解決することが必須で、そのエラーのためにheader でエラーになっています。だからメモリの問題を解決すればheader でエラーは起きません。

[ssk]

そのエラーを解決するために、数万件のデータを5,000件ずつ処理しようとしました。
メモリ問題を解決するための考え方はどうでしょう、、ちなみに今のメモリの上限は256MBです。

[退会済みユーザー]

試しに、もっと減らした時はどうなりますか？
例えば、10件とか。

[ssk]

2万件前後は出力可能です。

[退会済みユーザー]

http://qiita.com/dayone80/items/a3f5491c7e5b1ed4ed9e

[ssk]

256M→812Mに変更したところ、5万件を出力できるようになりました。
812Mは個人的にかなり大きいと感じますが、実務では普通でしょうか？

※本番環境はXサーバーです。

[退会済みユーザー]

場合による

[ssk]

今回のように大量データを扱う場合は、、、OKという認識で合っていますか？

[退会済みユーザー]

場合によるとしか言えません。
そもそもメモリの上限を上げられない環境だってあるし、csv 出力自体が必要のない機能かもしれません。csvより、他の手段の方がいい場合だってあります。

[退会済みユーザー]

csv出力機能をつけると、お客さんがexcel で開いてしまってデータを壊すことが多いので、実装しないことが多いです。

[ssk]

りがとうございます。
今回はCSVの出力が必須でして。大量データを出力するには

1.メモリを上げる
2.メモリを抑えた出力

で対応せざるを得ないため、10万件以上のデータを考えると2の方が良いという結論に至りました。

[退会済みユーザー]

メモリ使用を抑えるといっても、配列に格納している時点でNGですよね。
Generator でも使って出力したらいいんじゃないですか？

この時点で、質問内容がずれています。

[ssk]

Generatorを利用する方法は知らなかったので

Kosuke_Shibuya様が以前に質問されたいた内容
https://teratail.com/questions/20518

を参考にGeneratorを勉強します。

今回は5,000件ずつ出力することで5万件のデータ出力ができましたので、自己解決にいたします。