[Laravel] DB::insert()実行時のメモリリークについて

Question

[Laravel] DB::insert()実行時のメモリリークについて

先日LaravelにてCSVからデータベースにデータを移行するバッチを実装していたところ、実行時にメモリ不足となりkillされてしまいました。

状況

CSVを取り込みDBに格納する際、こちらのページを参考にし以下のとおり１行づつ読み取ることでメモリを節約しています。

$file = new \SplFileObject(storage_path('app/data_migration/sample.csv'));
$file->setFlags(
    \SplFileObject::READ_CSV |
    \SplFileObject::READ_AHEAD |
    \SplFileObject::SKIP_EMPTY |
    \SplFileObject::DROP_NEW_LINE
);

$records = array();
foreach ($file as $i => $row)
{
    if($i===0) {
        foreach($row as $j => $col) $colbook[$j] = $col;
        continue;
    }
    
    $line = array();
    foreach($colbook as $j=>$col) $line[$colbook[$j]] = @$row[$j];
    DB::table("test")->insert($line);
}

この処理を行う際、memory_get_usege()を使用してメモリ使用量を監視してみたのですがforeachが回るたびに徐々に増えていき、やがてメモリ上限を超えタスクが終了されてしまいました。

しかし、DB::insert()の部分を以下のようにqueryを書いて実行するとメモリは上がらず一定でしたのでLaravel自体の問題かと思っています。

$columns = implode(',', array_keys($line));
$values = implode(',', $line);
$query = "insert into test (" . $columns . ") values (" . $values . ")";
DB::connection()->getPdo()->query($query);

試したこと

• DB::disableQueryLog()を記述
• デバッグライブラリを確認しましたが特別な物は入れていませんでした。（デフォルトのまま）
• バルクインサート(当然変わりません...)

上記の上から２つは海外の掲示板を見た中で有力そうな解決策でした。
disableQueryLog()に関しては有力ではあったのですが何も変わらずでした。こちらデフォルトでdisableのようで、逆にenableQueryLog()を記述したところメモリ使用量がさらに上がりました。

状況からしてクエリビルダ関連だとは思うのでLaravel内部の問題だとは思うのですが...。

丸1日潰してしまったので皆様にご教授いただきたいと思っております。
よろしくお願いいたします。

追記

// バージョン情報
Laravel:6.x
PHP:7.4
PostgreSQL:11

さらに追記
説明不足ですみません。今回はメモリ不足を解消するためにメモリを上げるのではなく、
根本的にDB：：insertの使用で上がってしまうメモリ使用量をどうにかしたいと考えております...。
CSVの処理に関わらずinsertの処理の部分で起きているので
Laravelのバグなのか、Laravel内部で何をやっているのか等突き止めたいです。

Comments

[mikkame]

laravelのバージョンも記載していただいた方が良いかと思います

[hk206]

すみません。バージョン情報を記載し忘れていました。
ご指摘ありがとうございます。

[mikkame]

マイナー・パッチまでわかりますか？
以前、私がバグを踏んだ時はパッチで修正されていたことがありました。

[hk206]

6.11.0でした。

そういえばと思い、自分のローカルのプロジェクトでinsert文を何千と実行させてみたところメモリが一定でした...。
バージョンを確認すると6.18.10でした...。

パッチ修正の可能性がありますね。明日にならないと試せないのですが、バージョンをいじってみます！

[hk206]

問題のプロジェクトでバージョンを更新しましたがやはり現象変わらずでした...。

＞＞自分のローカルのプロジェクトでinsert文を何千と実行させてみたところメモリが一定でした。
これはやはり正しいです。

Answer 1

        $rows = new \SplFileObject(storage_path('app/data_migration/sample.csv'));

        $rows->setFlags(
            \SplFileObject::READ_CSV |
            \SplFileObject::READ_AHEAD |
            \SplFileObject::SKIP_EMPTY |
            \SplFileObject::DROP_NEW_LINE
        );

        $keys = [];
        $lines = [];
        foreach ($rows as $i => $row) {
            if ($i === 0) {
                $keys = $row;
                continue;
            }
            $lines[] = array_combine($keys, $row);
        }
        foreach (array_chunk($lines, 100) as $i => $rows) {
            Model::create($rows);
        }

こんな感じで。
前提条件として、どのくらいの大きさのCSVなのか（何行何列？）も不明だし、PHPに割り当てたメモリの大きさも不明、テーブルの定義も不明なんでなんとも言えないですが。

Comments

[hk206]

ありがとうございます。
CSVはトータル約100万行２０列くらいですね。
仮装環境でのメモリは512MBです。

[phper.k]

聞きたいのは仮想環境に割り当てたメモリではなく、PHPに割り当てたメモリです。
あと、テーブルの定義についても聞いています。

[hk206]

メモリに関しては現在は制限を設けずに実行しています。
memory_limit = -1

テーブルの定義については特殊なことはしておらず、例えば
id(int)
name(str)
created_at
updated_at
deleted_at
のみのテーブルでも現象は起きている状態です。
いろいろ試してみましたがCSVの処理に関わらず、insertを実行するとメモリが蓄積されます。

Answer 2

transactionは使っていますか？
もし使っている場合、
Laravelではなく、PDOのレイヤで、commitするまで各種データを保存するので、リークというかメモリの使用量は増えます。
メモリ上限に達するくらい処理を繰り返しているということは、行数は相当量あると思うのですが、Bulk Insertの方が色々な箇所に優しい処理かと思います。

https://readouble.com/laravel/6.x/ja/queries.html#inserts

Comments

[hk206]

transaction使用せずに実行しています。
バルクインサート実行時もメモリの件はあまり変わりませんでした...。

ただ、おっしゃる通りメモリ云々に関わらずバルクインサートは使用した方が良いと思いますので、
修正しようと思います！ありがとうございます！

[hentaiman]

英語記事だが自分の回答に書いた内容と全く同じことが書いてあったんで関係無いかと。

Answer 3

一回回るごとにメモリ増大って、一回ごとにCSVの容量増えてるって意味ですか？
とりあえずマニュアル通りwhileで1行ずつ読み込みしてはどうですか？

Comments

[hk206]

回答ありがとうございます！
試してみましたが、結果変わらずでした...。

メモリが増えているのはCSVの読み込みは関係なく(１行づつ読み込めているので)、インサートの部分だと思っています。インサートはインサートでも質問に記載した"状況"の通りPDOのクエリ実行ではメモリはリークしません。

DB::insert()実行時に何らかのイベントが発火して例えばログなどを溜め込んでるのでは？と思っています。

説明不足ですみません...。

[hentaiman]

本当ですね　クエリビルダーがおかしいって感じの情報ありましたね
なので諦めてstatementを使ってると・・・

[swift_benkyo]

横から失礼します。同様の現象が起きましたが、下記issueのコメントが参考になりました。
https://github.com/laravel/framework/issues/27539#issuecomment-646112782

> DB::insert()実行時に何らかのイベントが発火して例えばログなどを溜め込んでるのでは？
ご推察の通りのようです。
上記issueではそれをオフにするコードが記載されていました。
1年前の記事なので解決済みかとは思いますが一応。