Cakephp2でrenderをループした際のメモリ増加を解決する方法

Question

現在、Cakephp2を利用したメール送信機能を実装しています。
今回CakeEmailを使用せずに独自のメソッドでメール送信機能を実装し、その中でrenderを使用してメールテンプレートをロードしています。
送信機能をループさせて複数の宛先にメールを送信しようとしていますが、大量のメールを送信するとメモリが圧縮されて処理速度が遅くなっていく現象が起きています。
具体的には、メール送信前のメモリ使用量は8.7MBですが、300通送信すると53MBに上昇しその後も上昇を続けます。
各プロセスのメモリ増加量を調べると、Controller :: renderを呼び出す部分がほとんどを占めているため、レンダリングの際にメモリを使っているのだと思いますが、render()をループすることによってメモリ使用量が増加する原因または解決策がありましたらご教授いただきたいです。

よろしくお願いします。

追記：
メール送信

// 送信するメール取得
$mails = $this->MailList->getSendMails();
foreach ($mails as $mail) {
   // 送信先保存
   if (!$this->saveTargetData($mail)) {
       continue;
   };
   $limit = 300;
   $offset = 0;
   while ($targets = $this->MailDeliveryTarget->getTargets($mail, $limit, $offset)) {
       foreach ($targets as $target) {
           // メール送信
           $result = $this->Sys->sendMailTemplate('reserved_mail', ['input' => $input]);
           if ($result) {
              // 送信成功時処理
           } else {
              // 送信失敗時処理
           }
       }
       unset($targets);
       $offset += $limit;
   }
}

sendMailTemplateメソッド

function sendMailTemplate($tpl, $data = array())
    {
        $to = $this->getMailTo($tpl, $data);
        $from = $this->getMailFrom($tpl, $data);
        return $this->sendMail($to, $from, $this->getMailSubject($tpl, $data), $this->getMailBody($tpl, $data));
    }

function getMailTo($tpl, $data)
    {
        return trim(convert_nl($this->_getMailTemplate($tpl."/to", $data), ""));
    }
// getMailFrom, getMailSubject, getMailBodyも_getMailTemplateに渡す引数以外は同じ処理

function _getMailTemplate($tpl, $data)
    {
        if (!is_file(dirname(dirname(dirname(__FILE__))).DS."Template".DS."mail".DS.str_replace("/", DS, $tpl).".txt")) {
            return "";
        }

        $bk = array();
        foreach (array("layout", "ext") as $v) {
            $bk[$v] = $this->Controller->$v;
        }
        $bk_output = $this->Controller->response->body();

        $this->Controller->layout = "";
        $this->Controller->ext = ".txt";
        $this->Controller->response->body("");

        $this->Controller->set($data);
        $this->Controller->mail_render = true;
        $this->Controller->render("/".ltrim($tpl, "/")); // この部分での処理速度が伸びていく
        $out = $this->Controller->response->body();
        $this->Controller->mail_render = false;

        $this->Controller->response->body($bk_output);
        foreach (array("layout", "ext") as $v) {
            $this->Controller->$v = $bk[$v];
        }

        return $out;
    }

Comments

[nojimage]

コードが提示されていないので何とも言えないのですが、メールを1通だけ送信した場合のメモリ使用量はどうなっていますか？
送信のための300通分のデータはループの前に一括取得していませんか？

[nojimage]

あと、メモリが原因で速度が低下するというのはスワップが発生しない限り無いと思うのですが、スワップが発生しているということですか？（53M程度で足りないというのは昨今のサーバースペックを考慮すると速度低下は別の原因かなと思います。

[Riku_Sasaki]

返答遅くなりまして申し訳ありません。
まず、説明不足な部分が多く申し訳ありません。
前提として、今回は最大50000件程度のメールを配信することを想定しており、現状の300件の送信自体は目立った遅延がなく送信できております。
ただ、300件程度までは1秒間に5~7通送信できているところ、1000通ほどになってきますと3~5秒間に1通のペースで送信されるようになってしまいます。
そのため1通あたりの送信速度を落とさずにしたいというのが今回の相談です。

[Riku_Sasaki]

そのため各プロセスの処理速度を確認したところrenderを実行している部分での処理速度が徐々に伸びていることが確認できたのでレンダリング時のメモリ使用量が問題なのでは？と考えました。
そのためメモリ使用量が原因ではない可能性も十分あります。（スワップの発生は確認方法が分からず確認できておりません）

質問に対しての回答としましては
メールを1通だけ送信した場合のメモリ使用量：9.9MB
送信のための300通分のデータはループの前に一括取得しているか：しています。ただ上記説明の通り300通程度の送信は問題ありません。現状取得した送信先データを300通ごと取得して送信する処理をしております。

なお、コードを追記しましたので参考いただけるとありがたいです。

Answer 1

コードを大きく変えたくないのであれば、 _getMailTemplate の中で、ローカル変数としてControllerインスタンスの生成を毎回するようにしてみたらどうでしょうか。

そうすると、インスタンス生成のコストは発生しますが、 _getMailTemplate を抜ける時にインスタンスが開放されるのでメモリリークは抑えられると思います。

また、ClassRegistryがモデルオブジェクト等を保持しているので、ループ内で毎回 ClassRegistry::flush を実行し、モデルオブジェクトを開放しておくとよいかもしれません。

Comments

[Riku_Sasaki]

その通りで現状のコードはかなり多くの部分に紐づいているためあまり変更を加えたくないのです。。。
具体的な対策を提示いただきありがとうございます！！
今日は試す時間がありませんでしたので現状では結果はお伝えできませんが、結果分かり次第お伝えさせていただきます。

Answer 2

コードが提示されていないので、一般論として回答します。

大量のメール送信を自前で行い、メール文のレンダリング等にコストがかかるのであれば、1件または許容範囲の件数ごとにメール送信を行えるように、ジョブキューの仕組みを導入するとよいでしょう。

メインの処理では、処理対象となるidなど必要最低限の情報のみ抽出してジョブキューに登録します。ジョブワーカー側では、そのキー情報を元に送信に必要な情報を取得し、メールを生成して送るようにします。

CakePHP 2で使えるジョブキュープラグインは以下にありますので、案件にあったものを選択してください。
（dereuromark/cakephp-queueがコアメンバーの作ったプラグインなのでお勧めしておきます。

Queue | FriendsOfCake/awesome-cakephp at cake2

また、ループの中でオブジェクトインスタンスの生成を行っているのであれば、インスタンスを使用しなくなった時点で unset しておくとメモリを開放できます。

他、Controller::renderをメール内容を生成するために使用しているのでしょうが、Viewクラスのみを使用した方が無駄が少なくメモリを節約できます。CakeEmailもそのような実装になっています。