PHPでfopenで大容量のファイルを読込む方法

Question

こんにちわ。

PHPの開発で画面よりCSVファイルを読込み一行づつDBへ登録という処理を行っているのですが、容量の大きなファイルになるとfopenがうまくいかずfalseになってしまいます。
皆様はこういったCSV読込みなどはどのようにされているのでしょうか？
また、参考サイトなどございましたらご教授いただけないでしょうか？

よろしくお願いいたします。

Answer 1

fopen関数はファイルポインタを取得するだけなので、ファイルの容量によって失敗することがあるとは、考えにくいです。

まずはerror_get_last関数を使って、ファイルオープンに失敗した理由を確認されることをお勧めします。
http://php.net/manual/ja/function.error-get-last.php

$fp = fopen('hogehoge.txt', 'r');

var_dump(error_get_last());

if (is_resource($fp)) {
    fclose($fp);
}

実行結果

PHP Warning:  fopen(hogehoge.txt): failed to open stream: No such file or directory in /tmp/test.php on line 2

Warning: fopen(hogehoge.txt): failed to open stream: No such file or directory in /tmp/test.php on line 2
array(4) {
  ["type"]=>
  int(2)
  ["message"]=>
  string(69) "fopen(hogehoge.txt): failed to open stream: No such file or directory"
  ["file"]=>
  string(13) "/tmp/test.php"
  ["line"]=>
  int(2)
}

また、CSVファイルがWEBページからアップロードしたものであれば、
upload_max_filesizeなどに引っかかっている可能性も考えられます。
以下のリンクなどを確認されてみると、何か分かるかも知れません。
http://php.net/manual/ja/features.file-upload.common-pitfalls.php

以下のリンクも、参考になるかと思います。
http://php.net/manual/ja/features.file-upload.errors.php

Comments

[Toshi12]

ご回答ありがとうございます。
エラーを確認したところ/tmp/にファイルが渡っていなかったようです。
php.iniのupload_max_filesizeに引っかかっていたのが原因でした。
上限を増やせばアップロードはされるのですがものすごく時間がかかってしまいます。
パフォーマンスの改善が必要かと思います。
何か良い方法など御座いませんでしょうか？

[KiyoshiMotoki]

私が思いつく手段は、
・適当な大きさにファイルを分割してからアップロードしてもらう
・圧縮したファイルをアップロードする（当然、サーバ側で展開する必要があります）
くらいですね。

[Toshi12]

そうですよね。
とりあえず2M以上はアラートを出すようにしてアップロードできないようにしています。
その間に何か改善できればとおもっています。
ご教授いただきありがとうございます。

Answer 2

SplFileObject::fgetcsv

SplFileObject を使うのが最もパフォーマンス的に優れています。

Comments

[Toshi12]

ご回答ありがとうございます。
SplFileObjectですね、色々調べてみます！
upload_max_filesizeが原因でアップロードできなかったのですが、上限を増やすとパフォーマンスが非常に悪く時間がかかってしまうので改善しようと思っています。
ちなみにSplFileObjectは使ったことないのですが、ダブルコーテーションで囲まれたcsvデータを１つの文字列にするなどのマッチングなどの処理は実装されるのでしょうか？
もし知っていればその辺りも教えていただければ幸いです。
よろしくお願いします。

[退会済みユーザー]

試せばわかることですので、ご自身でソースを書いて試してください。

[Toshi12]

そうですね、色々試しているのですが
すごく便利ですね。
ただパフォーマンスの良さがまだ実感できていないのでまた色々やってみます。
ご教授いただきありがとうございます。

Answer 3

実行可能な時間の制限に引っかかっているのだとすれば、
例えば1000行ずつ処理することにして、
読み込みが終わったら次の開始行（1001行目、2001行目など）を与えて
自己処理を呼び直すようなhtmlとformを伴ったページを出力すればいいと思います。

Comments

[Toshi12]

ご回答ありがとうございます。
実行可能時間はいけてそうです。
なるほど、1000行づつわけて処理をするのはいいかもしれませんね。調べてみます。