PHP CSV出力で処理を軽くする方法

###前提・実現したいこと
DBにあるレコードをSELECT文で抽出してそれをCSVファイルとしてダウンロードさせるといった
処理を作成していますが、レコードの件数が5万件、10万件となった時に処理が著しく遅くなってしまいます。
今後更にレコード量が増えていくため、対策をしないといけないのですが、どう対策したらいいかがわかりません・・・

負荷が掛からないようにCSV出力をする方法などアドバイスを頂けたらなと思っています。
なんとも曖昧な質問で申し訳ありません。。よろしくお願い致します。

行動規範の内容に同意します

回答3件

まずは、「データの取得」「データの変換」「CSV生成」、どこで重くなっているか確認してみましょう（xdebugでプロファイルするなど、方法は色々あります）。

5万件なり10万件なりのデータを引っ張ってくるとなると、データベースのインデックス付けなど、チューニングが欠かせません。

あと、直前のデータでなくて「前日までの集計データ」でいいというような状況でしたら、誰も使っていない夜中にCSVだけ事前に生成しておいて、ダウンロードはそれを引っ張ってくるだけ、という手もあります。

とにかく、

SELECT文でかける条件
単にデータを引っ張ってきてCSVにするだけなのか、何かしらの加工が必要なのか
抽出条件（それはある程度決まっているのか、その場で指定するのかも含めて）
結果を返すまでの時間をどれくらいに収めたいのか

など、詳細がわからなければどうすればいいかも決まりません。

投稿2016/11/16 07:22

maisumakun

総合スコア145183

ベストアンサー

mysqlサーバー自体がphpと同じサーバー上で管理されていて
ファイルI/Oの権限をもっているのであれば

SQL
1SELECT *
2FROM テーブル 
3INTO OUTFILE '/tmp/test.txt'
4FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
5LINES TERMINATED BY '\n';

的な処理をかけても良いかもしれません。
場合によっては出力したtxtをzip圧縮してダウンロードすれば
もとがテキストデータだけに相当な圧縮効果が期待できます

投稿2016/11/16 08:54

yambejp

総合スコア114767

nantarutia

2016/11/17 03:35

ありがとうございます！参考に致します！

行動規範の内容に同意します

自分なら、こんな感じで非同期で処理しますね。単純なエクスポートなら。

php
1$cmd = "mysqldump -u$user -p$password /backup/ ";
2$cmd .= "--fields-terminated-by=\", \" ";
3$cmd .= "--fields-enclosed-by=\"\\\"\" ";
4$cmd .= "$database_name $table_name";
5exec(escapeshellcmd($cmd));