【Laravel】updateOrCreateを使っているのにデータが重複生成されることがある

Question

Laravelを使用し、POSTされたデータをupdateOrCreateで生成・更新している箇所があります。
大抵は正常に動作（データが存在していたら重複せず上書き）しているのですが、
たまに重複したデータが保存される時があります。

重複データのcreated_atとupdated_atは同じ時間を指しています。
空白文字が入っている等「同じように見えて別データ扱いになっている」ということはなさそうです（SQLのselect文で確認）。

同じデータが同時に複数回POSTされている可能性はあります。
PHPの複数プロセスが同時待機している場合はこのような事態が発生するのでしょうか？
この場合、データの重複を防ぐ方法はあるでしょうか？

なおサーバーはXserverの共用サーバー、データベースはMySQLを使用しています。

Comments

[m.ts10806]

テーブル定義はどうなってますか？
そしてデータはどのように登録されるのでしょうか。
現象が起きるときの規則性はありますか？

Answer 1

Model::updateOrCreate() は楽観ロック的な実装なので，ユニークキー制約は必須です。愚直に

• 「SELECT してきて存在しなかったら INSERT」
• 「SELECT してきて存在したら UPDATE」

というのをやっているだけで， SELECT FOR UPDATE 的な悲観ロック処理は実装されていません。

おすすめの対処法

1. ユニークキー制約を張る

重複インサートを防ぐために必須で，これは次の 2 番のための準備でもあります。

2. ユニークキー制約エラーを検出して自動的に1回までリトライする

楽観ロックでの実行で悲観ロックでの実行と同等の信頼性を得るためにはこうします。

<?php

namespace App\Database;

use Illuminate\Database\MySqlConnection as BaseMySqlConnection;
use Illuminate\Support\Str;
use Throwable;

class MySqlConnection extends BaseMySqlConnection
{
    /**
     * INSERTで重複が発生したとき，自動的に再試行します。
     * 以下のメソッドと併せて使用することを想定しています。
     *
     * - Model::firstOrNew()
     * - Model::firstOrCreate()
     * - Model::updateOrCreate()
     * - Model::sync()
     * - Model::syncWithoutDetaching()
     *
     * @param  \Closure $closure
     * @param  int      $attempts
     * @return mixed
     */
    public function retryWhenDuplicateEntry(\Closure $closure, int $attempts = 2)
    {
        $e = null;
        for ($i = max(1, $attempts); $i > 0; --$i) {
            try {
                return $closure();
            } catch (QueryException $e) {
                if (!Str::contains($e->getMessage(), 'Duplicate entry')) {
                    break;
                }

                // リトライ時には必ずマスタを参照する
                $this->recordsModified = true;
            }
        }
        throw $e;
    }
}

<?php

namespace App\Providers;

use App\Database\MySqlConnection;
use Illuminate\Database\Connection;
use Illuminate\Support\ServiceProvider;

class AppServiceProvider extends ServiceProvider
{
    public function register(): void
    {
        Connection::resolverFor('mysql', function (...$parameters) {
            return new MySqlConnection(...$parameters);
        });
    }
}

これで

DB::retryWhenDuplicateEntry(function () {
    Model::updateOrCreate(...);
});

と書くだけです。
（IDE で補完を出すためには barryvdh/laravel-ide-helper のファサード補完を併用してください）

このコード何回も書いてるのでそろそろ OSS 化しようかな…

Comments

[root_jp]

ここの説明は逆ですね。
・「SELECT してきて存在したら INSERT」-> これがUPDATE
・「SELECT してきて存在しなかったら UPDATE」 -> これがCREATE

[mpyw]

あ！凡ミスｗ　訂正します

Answer 2

upsertするのに、重複することを検出する条件が甘いだけだと思いますけどね。
コードを見ていないので、これ以上はなんとも。

同じデータが同時に複数回POSTされている可能性

webサーバーへのアクセスログをチェックすれば、わかる話ですね。

PHPの複数プロセスが同時待機している

同時待機しているかどうか質問文からはわからないですが、
どういうサーバー構成なのかを確実に押さえておきましょうよ。
apache httpdなのかnginxなのか。
httpdだとしてモジュール型動作なのかCGI動作なのか。
それともphp-fpmなのか。
事実を確認せず妄想で思考実験しても埒が明きません。

Comments

[sakura_hana]

発生条件の特定が出来ていないのとサーバーサイドの知識が甘く申し訳無いです。
「サーバー構成や環境によってはそういうこともあるよ or 無いよ」という情報だけでも欲しかった次第です。