PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 9732563 bytes)

Question

1日に数万件のデータを処理する必要があります。

いつもは100件程まとめてデータ処理を行っているのですが、数をこなしたい時に120件以上同時に行うとダウンしてしまいます。
errorログを調べてみると、下記のようなコードが表示されていました。

PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 9732563 bytes) in /usr/share/pear/Smarty3/sysplugins/smarty_internal_templatebase.php on line 201

100件程度の処理であれば安定していてダウンすることはありません。しかし120件以上になると何度やってもerrorでダウンします。
dBug.phpでも確認しましたが特におかしいものは発見できませんでした。

調べてみたところ、PHPへのメモリ割り当てが少ないことが原因という所まではわかりました。
でもこれ以上メモリを増やすことはできません。
改善方法が分かる方がおられたら教えていただけると助かります。
あと、できればどのタイミングでメモリを食われているのかのご指南もよろしくお願いします。

Answer 1

メモリ食いで有名なPHPは、PHP5になってから大分改善されたようです。
しかしまだまだメモリ食いなのも事実。
実際のコードを見た訳ではありませんので、あくまで参考程度のアドバイスだと思って下さい。

メモリ開放のタイミングを計る。
while (条件) { 変数初期化 いろいろな処理 変数開放 } ← メモリの開放タイミングはここ

ループ回数により消費メモリは大きくなります。
ループの中からサブルーチンを読んだ際も、ループから出るまでは開放のみで使い回しは不可です。

加えてネストしている時
if (条件) { while (条件) {} while (条件) {} } ← メモリの開放タイミングはここ

こちらの場合、多様となることもありますので深刻かもしれません。

使用メモリを軽くする対策としては
・ループの回数を減らす
PHP内部でのループの見直しが重要かと。
・ループ内の処理軽減
計算式や処理を見直して、少しでも式や演算子を減らす。
・変数の肥大防止
file_get_contentsによるファイルの一括読み込みは避ける。
一行ずつ読み、その都度出力する方がメモリを食わない。
・固定文字列を冒頭で定義する。
処理速度の向上には意外と有効です。
・変数の展開は避ける。
コーディングが少し面倒ですが処理速度が向上します。

など、ごく一例ですがこれらを実行することで使用メモリを軽減できると思います。
具体的なerror改善策はスクリプトを見ないとわかりませんが、おそらく全体的な見直しが必要となります。

もしcronを使っているようでしたら、CLI向けにしてリプログラミングした方が簡単かもしれません。