PHPを使用したバッチ処理のメモリについて

Question

PHP5.3.3、cakephp2.7を使用したバッチ処理について質問があります。

処理
データベースから全データを取得し、ファイルへ出力する。イメージ的には下のようなコード書いてやろうと思っています。

$data1=$this->Model->find(all):
$data2=$data1->arrayfetch():
foreach($data2 as $row)｛
fputcsv($file,$row):
｝

この時、メモリ関連で気をつけなければならないことはありますか？またほかに良い方法などございますか？
phpのメモリについてあまり理解ができていません。よろしくお願いします。

Answer 1

$data1=$this->Model->find(all):
$data2=$data1->arrayfetch():
foreach($data2 as $row)｛
fputcsv($file,$row):
｝ 

cakePHPの作法は良くわからないのですが、findで取り出したデータはそのままループでは回せないのでしょうか。arrayfetch(リファレンスに載ってないのですが)は必要ですか？

データの取り出し

全件取り出すとメモリがあふれるような場合は、分割して取り出すことになります。しかし、分割するとパフォーマンスが大幅に落ちます。DBとのやりとり自体が増えるのもありますが、OFFSETとLIMITを使ってページングする場合、ソートが必須になることの影響が大きいです。

SELECT * FROM tbl LIMIT 10; -- 最初の10件
SELECT * FROM tbl LIMIT 10 OFFSET 10; -- 次の10件

となることを期待したいですが、そうはならず、取得されるデータには重複が発生する可能性があります。一意なソート順が条件に必要です。

整形と出力

ループを1回で済ませることを最優先に検討する必要があります。整形とループで二回ループを回すということは、整形したデータを保存しておくメモリが必要になると言うことです。2回ループを回すより1回の方が速いということもあります。

Comments

[panjaA]

ありがとうございます！参考にさせていただきます！

Answer 2

1行目で、レコード内に不要なフィールドが有るならば、必要なフィールドに限定して取得する方が良いでしょう。
もし、データ数が膨大な場合は、1000件ずつ取得するなどすれば安心かと思います。(limitとoffset指定でループ)
それと、2行目の後で$data1は既に不要ですので、unset($data1); を記述することもできます。

Comments

[panjaA]

ありがとうございます！助かりました！