CSVファイルからデータを読み込む時に件数が増えると正常に読み取れず、エラーとなる

お疲れ様です。
上手く解決できない問題があり、質問します。

あるCSVファイルからデータを読み込んで、DBにインサートするための機能を作りたいです。CAKEPHPを用いてPHPコードで書き、CSVファイルを読み取りすることまでは成功しました。問題は、CSVファイルのデータ件数が増えるとエラーが発生します。

CSVファイルはコンマ区切りのファイルで、フィールドが12個あります。つまり、1件のデータに12個のフィールドがあり、それぞれ文字列が入っている感じです。ファイルの形式などには問題ありません。

CSVファイルの中身が10件の場合は、以下のよう、正常に読み込まれ、DBへのインサートも問題なく成功しました。この場合、CSVファイルから読み取った値が赤文字で表示されます。

しかし、CSVファイルの中身が1000件の場合は、CSVファイルの中身が正常に読み取れず、headers already sent byエラーで怒られ、DBへのインサートもできません。

この場合は、検証ツールのResponseでCSVファイルから読み取った値を確認すると、1000件のデータは全てあるものの、値が黒文字で表示され、連想配列として認識されてないようです。

さらにデータが増えて、10000万件をいれると、データが読み込まれずに、検証ツールでFailed To Load response Dataというエラーとなり、NetworK状況をみると、約13-14MBのResource Loaded By Pageまでグラフが伸びて失敗となってしまいます。Cakephp側では、エラーが表示されないか、Controller actions can only return ResponseInterface instance or null. Got boolean instead.というエラーが出ます。

これまで試してみあのは、PHP.iniのpost_max_sizeを40MBまで増やすのと、memory_limit、Upload_max_filesize、max_input_time、max_input_varsなどの値を多めに増やしてみましたが、結果は変わりませんでした。

ソースコードの問題ではなさそう（10件は成功と確認済み）で、CSVファイルを読み込む時のHeader設定や環境設定の値が可笑しいか、他の原因なのか、だと思いますが…自分では解決できなくて困っています。何かヒントがあれば教えてください。よろしくお願いします。

一応、ソースコードを共有します。

PHP
1 $data = file_get_contents($upFilename);
2      $data = mb_convert_encoding($data, 'UTF-8', 'sjis-win');
3      $temp = tmpfile();
4      fwrite($temp, $data);
5      rewind($temp);
6
7  while (($data = fgetcsv($temp, 0, ",")) !== FALSE) {
8      var_dump($data);　//　値を取って表示する
9  }
10

nojimage

2020/10/26 12:19

エラーとなる場合のレスポンスに要する時間、phpのmax_exection_timeの設定値を記載してください。

lovelydai

2020/10/27 00:18

質問ありがとうございます。max_execution_timeは120、1000件アップする時のTimeは581ms（サイズ750kb）、10000件アップする時は2.89s（サイズ13.2mB）でした。

wakabadou

2020/10/27 02:17

"10000万件", "13.2mB"など単位がおかしなことになっている箇所が目立ちます。一度、全体的な見直しをして頂きたいです。それと、エラーメッセージについては読まれていますでしょうか？提示されている箇所以外が原因と思われるエラーメッセージがあるのですが。

nojimage

2020/10/27 23:44 編集

実行時間が長いことによるエラーではないようですね。提示されたエラーメッセージの、"header already send" のエラーはvar_dumpを行っているために出力されています。 "Controller actions can only return ResponseInterface instance or null. Got boolean instead." は、コントローラーアクションメソッドのreturnでboolean値を返しているため怒られています。となると保存できないのは提示されている以外の箇所で起きている可能性が高いです。CakePHPのエラーログ、デバッグログの出力内容を確認してみてください。