cakephpでmysqlのデータを集計する際のメモリー不足の解消方法

Question

cakeで数十万件レコードがあるテーブルの集計をしたのですが、メモリー不足となってしまいます

同一のユーザーIDごとにグループ化し、２つのカラムの値のnull判定をする必要があるためlimitなどで区切る訳にも行かず悩んでいます

mysqlではテンポラリテーブルという概念があるそうですが、通常の処理でcakeからDB構造を触ることは推奨されていないようなのでそのほかのどのような方法があるでしょうか？

メモリーの上限をあげる以外に方法はないのでしょうか？

Comments

[yoorwm]

とりあえず、データベースを動かす際に数十万レコード程度でメモリ不足になるのはスペックが足りないです。
一応、使用しているマシンのスペックを追記しておいてください。

[退会済みユーザー]

PCそのもののスペックは
MacBook Air
メモリ　4GB
プロセッサ　1.4GHz Intel Core i5

環境
cakephp3
MAMP
Mysql　5.7
PHP 7

データについて
本番DBのデータをローカルに持ってきて動かしています
現在対象としているテーブルのレコード数は３１万件程度です

[退会済みユーザー]

SQLで集計すれば、できないことがないような処理だと思いますが、PHPで計算していませんか？

[sazi]

そのSQLをMYSQLで直接実行してメモリー不足になりますか？
また、上記動作時にメモリの空き状況はどのようになるでしょうか？

Answer 1

いいかどうかは別として、cakeから発行したクエリで検索ができました
shellで実行しているのですが、initialize部分にメモリーの上限をあげる以下のコードを挿入することで一旦はエラーがでなくなりました

 public function initialize()
    {
        parent::initialize();
        ・
        ・
        ・
        ini_set('memory_limit', '256M');
    }