Laravel updateOrCreate でメモリ不足

Question

Laravel で5,000行を超える CSV ファイルを読み取って UPSERT 処理をしたいと思っています。

同様のコードで、別の1,000行あまりの CSV は問題なく処理が出来たのですが、
5,000行を超えてメモリ不足が発生する場合は、メモリの容量を増やすしかないのでしょうか。

以下、コードです。

$fp = fopen(storage_path('/') . 'hoge.csv', 'r');
while (($row = fgetcsv($fp, 10000)) !== FALSE) {
    Data_hoge::updateOrCreate(
        [
            "code" => $row[0],
            "type" => $row[1]
        ],
        [
            "money"        => $row[2],
            "remarks"      => $row[3]
        ]
    );
}
fclose($fp);

code と type には複合インデックスを貼りました。
推測ですが、code が同じものが数行、並んでいるため、
同じレコードへの書き込みが頻繁に行われるのが影響しているのかなと考えています。

メモリは256MBです。

ご教示、よろしくお願いいたします。

Comments

[退会済みユーザー]

メモリーリークは何で判断しましたか？

[Web_akira]

Laravel のログになります。
Allowed memory size of 268435456 bytes exhausted (tried to allocate 25165824 bytes)

[退会済みユーザー]

メモリ使い切りに見えます。タイトルを修正したほうが適切な回答がつくかと。

[coco_bauer]

”5,000行を超える CSV ファイル”のサイズは、何バイトぐらいですか？　それは、メモリのサイズ 256MB の何パーセントにあたりますか？

”メモリリーク”がどういう意味か、理解してらっしゃいますか？？？

[Web_akira]

Allowed memory size of で検索して以下の記事で確認しました。
https://www.sejuku.net/blog/78621#i-2
メモリリークとメモリ不足になる「Allowed memory size of ~」のエラーを混同していました。
失礼いたしました。タイトルも更新済みです。

Answer 1

SplFileObject::fgetcsv を利用して読み込むと、メモリの節約ができます。

Comments

[退会済みユーザー]

laravel を使っているなら、こちらのほうがお勧め
https://www.ritolab.com/entry/160

[Web_akira]

情報ありがとうございます。
単純なインポートではないので、同じサイトの以下の記事が参考になりました
https://www.ritolab.com/entry/63
速度は速くなりましたが、なぜか同じ行でとまります…。

[退会済みユーザー]

頑張ってください

[Web_akira]

SplFileObject を使ったところ、Allowed memory size of のエラーは無くなりました。
データベースの追加処理が同じ行で止まるので、MySQL 側のメモリが足りないのかも知れません。
解決しましたら詳細を追記致します。

[退会済みユーザー]

そんなわけないと思います。
十中八九別の原因だと思う。

Answer 2

処理を非同期にしたところ約40秒で完了しました。ファイルは700KBです。
読み込んで画面に出力するだけだと 0.11247992515564秒で終わりました。
UPSERT の処理が重いようです。
メモリ不足になったのは、別の処理と同時に行っていたのがまずかったようです。
アドバイスを頂いたみなさん、ありがとうございました。