PDO::ATTR_PERSISTENTでbeginTransactionがエラーになる理由を知りたい

Question

前提・実現したいこと

PHPでPDOを使ってMySQLにアクセスしています。複数のPDOオブジェクトを作り、それぞれbeginTransaction()しているのですが、PDO::ATTR_PERSISTENTをtrueにしていると、エラーになってしまいます。PDO::ATTR_PERSISTENTは別のリクエストで使った接続をコネクションプールに返して再利用するのかと思っていたのですが、他のPDOオブジェクトで使用中の接続にも影響が出ているということなのか、といった疑問が生まれよく分かりません。

エラーになる理由を教えて下さい。

発生している問題・エラーメッセージ

There is already an active transaction
#0 /var/www/html/hoge.php(14): PDO->beginTransaction()
#1 /var/www/html/hoge.php(29): PdoTest->beginTransaction()
#2 /var/www/html/hoge.php(45): test()
#3 {main}

該当のソースコード

<?php
class PdoTest {
        public function __construct($persistent = true) {
                $this->pdo = new PDO(
                        "mysql:host=db;dbname=exampledb",
                        "exampleuser",
                        "examplepass",
                        array(
                                PDO::ATTR_PERSISTENT => $persistent,
                        ));
                $this->pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
        }
        public function beginTransaction() {
                $this->pdo->beginTransaction();
        }
        public function commit() {
                $this->pdo->commit();
        }
        function __destruct() {
                $this->pdo = null;
        }
}
function test($persistent = true) {
        echo "Persistent: ".($persistent ? "true" : "false")."\n";
        try {
                $test1 = new PdoTest($persistent);
                $test2 = new PdoTest($persistent);
                $test1->beginTransaction();
                $test2->beginTransaction();
                $test1->commit();
                $test2->commit();
                echo "->Success\n";
        }
        catch(Exception $e) {
                echo "->Failed\n";
                echo $e->getMessage()."\n".$e->getTraceAsString()."\n";
        }
        finally {
                $test1 = null;
                $test1 = null;
        }
}
echo "<pre>";
test(false);
test();
?>

試したこと

MySQLのprocesslistを見てみました。

$ docker-compose exec db bash
root@ecff0829b2de:/# mysql -D exampledb -u exampleuser -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 21
Server version: 8.0.25 MySQL Community Server - GPL

Copyright (c) 2000, 2021, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show full processlist;
+----+-------------+------------------+-----------+---------+------+-------+-----------------------+
| Id | User        | Host             | db        | Command | Time | State | Info                  |
+----+-------------+------------------+-----------+---------+------+-------+-----------------------+
|  8 | exampleuser | 172.25.0.3:58734 | exampledb | Sleep   | 1553 |       | NULL                  |
|  9 | exampleuser | 172.25.0.3:58756 | exampledb | Sleep   | 3192 |       | NULL                  |
| 10 | exampleuser | 172.25.0.3:58760 | exampledb | Sleep   | 3071 |       | NULL                  |
| 13 | exampleuser | 172.25.0.3:58842 | exampledb | Sleep   | 1864 |       | NULL                  |
| 16 | exampleuser | 172.25.0.3:58848 | exampledb | Sleep   | 1783 |       | NULL                  |
| 21 | exampleuser | localhost        | exampledb | Query   |    0 | init  | show full processlist |
+----+-------------+------------------+-----------+---------+------+-------+-----------------------+
6 rows in set (0.00 sec)

mysql> show full processlist; ←この直前でphpを実行している
+----+-------------+------------------+-----------+---------+------+-------+-----------------------+
| Id | User        | Host             | db        | Command | Time | State | Info                  |
+----+-------------+------------------+-----------+---------+------+-------+-----------------------+
|  8 | exampleuser | 172.25.0.3:58734 | exampledb | Sleep   | 1625 |       | NULL                  |
|  9 | exampleuser | 172.25.0.3:58756 | exampledb | Sleep   | 3264 |       | NULL                  |
| 10 | exampleuser | 172.25.0.3:58760 | exampledb | Sleep   | 3143 |       | NULL                  |
| 13 | exampleuser | 172.25.0.3:58842 | exampledb | Sleep   | 1936 |       | NULL                  |
| 16 | exampleuser | 172.25.0.3:58848 | exampledb | Sleep   | 1855 |       | NULL                  |
| 21 | exampleuser | localhost        | exampledb | Query   |    0 | init  | show full processlist |
| 24 | exampleuser | 172.25.0.3:58902 | exampledb | Sleep   |    6 |       | NULL                  |
+----+-------------+------------------+-----------+---------+------+-------+-----------------------+
7 rows in set (0.00 sec)

mysql>

1つしか接続が出来てないように見えます。ただしPHPにsleepなどを入れて、ATTR_PERSISTENT=falseの接続を見ると新規のポートが開いて、終了と同時に消えているようでした(ログは割愛。ATTR_PERSISTENT=falseでは$test1, $test2には接続が1つずつ出来ており、nullセットと同時に消えていました。)

追記

調べているうちに、以下の記事に当たりました。

MySQL Connection Pooling と Persistent Connections はチョット違うという話 - mita2 database life

私がConnection PoolingとPersistent Connectionsを混同していたのは間違いなく(Connection Poolingのみが正しいと思っていた)、PDOではPersistent Connectionsを実装したから、同じワーカーには同じConnectionが割り当てられたのだろうという仮説に辿り着きました。ちなみにこの記事だけでなく、Connection PoolingとPersistent Connectionsを比較する記事は(主に英語で)沢山見つかり、1対1対応については解釈にブレがあるものの、おおよそ似たような内容の記事でした。

仮説が正しければ理由としては十分なので、当面「同じワーカーには同じConnectionが割り当てられる」仮説を処理系コード上で確認する作業を続けます。

追記2

PHP: 永続的なデータベース接続 - 手動

公式にもそれっぽい内容がPDOではありませんが見つかりました。

永続的な接続は、スクリプトの実行が終了しても閉じないリンクです。持続的接続が要求されると、PHP は同一の持続的接続 (以前から開いていたもの) がすでに存在するかどうかをチェックします。存在する場合は、それを使用します。存在しない場合は、リンクを作成します。「同一の」接続とは、同じユーザー名とパスワード (該当する場合) を使用して、同じホストに対して開かれた接続です。

動作中の接続に対する、具体的な動きが明確ではありませんが、内容的には現象と一致する説明です。

補足情報（FW/ツールのバージョンなど）

以下の環境(docker-compose)で確認しています。

version: "3"
services:
  web:
    build: .
    ports:
      - 80:80
    volumes:
      - ./html:/var/www/html
      - ./php.ini:/usr/local/etc/php/php.ini

  db:
    image: mysql
    environment:
      MYSQL_DATABASE: exampledb
      MYSQL_USER: exampleuser
      MYSQL_PASSWORD: examplepass
      MYSQL_RANDOM_ROOT_PASSWORD: '1'
    volumes:
      - ./db:/var/lib/mysql

FROM php:apache
RUN docker-php-ext-install pdo_mysql
RUN pecl install xdebug \
  && docker-php-ext-enable xdebug

php.ini

[xdebug]
xdebug.mode=debug
xdebug.start_with_request=yes
; IDEが動いてるところのIP
xdebug.client_host=
xdebug.client_port=9003
xdebug.log=/tmp/xdebug.log
; ビルド時に出たもの
zend_extension=/usr/local/lib/php/extensions/no-debug-non-zts-20200930/xdebug.so

vscodeのデバッグ設定

{
    "version": "0.2.0",
    "configurations": [
        {
            "name": "Listen for Xdebug",
            "type": "php",
            "request": "launch",
            "port": 9003,
            "pathMappings": {
                "/var/www/html":"${workspaceFolder}/html"
            },
        }
    ]
}

Answer 1

PDO::ATTR_PERSISTENTは別のリクエストで使った接続をコネクションプールに返して再利用するのかと思っていたのですが、他のPDOオブジェクトで使用中の接続にも影響が出ているということなのか、といった疑問が生まれ

これはConnection Poolingではなく、Persistent Connectionsだから。質問の「試したこと」の「追記1,2」にあるとおりだが、また非公式なドキュメントを追記しておく。

MySQL persistent connections in PHP - Valinv

現状のPHP処理系の実装調査結果

現状のPHP処理系が実際にどう処理しているかを確認した。

php-src/pdo_dbh.c at 01b3fc03c30c6cb85038250bb5640be3a09c6a32 · php/php-src · GitHub

このコードは2021年5月31日現在のmasterブランチのリビジョン。

ハイライトしている箇所がPDOのコンストラクタで、PDO::ATTR_PERSISTENTが文字列でないケース(今回は真偽値)では、その値がtrueのとき"PDO:DBH:DSN=mysql:host=db;dbname=exampledb:exampleuser:examplepass"をキーにpersistent_listというハッシュテーブルを走査し、PDOオブジェクトを探している。

またその少し後ろの

[php-src/pdo_dbh.c at 01b3fc03c30c6cb85038250bb5640be3a09c6a32 · php/php-src · GitHub]
(https://github.com/php/php-src/blob/01b3fc03c30c6cb85038250bb5640be3a09c6a32/ext/pdo/pdo_dbh.c#L390-L398)

では、PDO::ATTR_PERSISTENTがtrueのときpersistent_listというハッシュテーブルに値を入れている。この処理の直前のdriver->db_handle_factory()ではコネクション相当のオブジェクトが必要に応じて完成し、本体のdbhに設定されている。

結論

以上から、PERSISTENT=trueな同一DSN:user:passのPDOは、エラーで使えなくなってない限り同じdbh(接続)が使われる実装に見える。

→仮説は正しいということになる。

回答

Connection PoolingではなくPersitent Connectionsなので、ワーカーが同じなら同じDBには同じ接続が使用される。そのため、あるPDOオブジェクトでトランザクションが開始されれば、同じ接続を使う他のPDOでトランザクションを開始するとエラーになる。

Comments

[rana_kualu]

ちなみにPERSISTENTであれば同じ接続であることを確認するテスト( https://github.com/php/php-src/blob/php-8.0.0/ext/pdo_mysql/tests/pdo_mysql_pconnect.phpt )というものが存在したりします。
従って、少なくとも動作的には仕様ということになります。
マニュアルにはこんな細かいところまで記載はされていませんが。

[dameo]

テストから見る手がありましたね。盲点でした。ありがとうございます。

Answer 2

単純にトランザクション重複がNGだからでは？

PDO::beginTransaction

エラー / 例外
トランザクションが既に開始されている場合や、ドライバがトランザクションに対応していない場合に PDOException をスローします。

Comments

[dameo]

同じPDOオブジェクトに対してという意味だと思っていたのですが、、、違うのでしょうか？

[m.ts10806]

オブジェクトが保持してるのはDBへのコネクションです。
接続先が同じならコミットまたはロールバックするまで解放されないと考えるのが自然です。

[dameo]

異なるPDOオブジェクトが使用する、コネクションが同じであるということなのですか？
PDOではATTR_PERSISTENT=trueにすると、接続先が同じだと全て同じコネクションになると言っていますか？それはPHP(PDO)仕様で意図したとおりの挙動ということなのですか？
全く自然であるとは思えませんが。。。

例えば、DB内のあるデータを制御するクラスAと別のDB内のあるデータを制御するクラスBがあるとします。スレッドなどで並列に動作させる必要はないのですが処理的には平行で動作させたく、それらにトランザクションがそれぞれ必要だとすると、できなくなってしまいます。また単純に一律クラスのコンストラクタでPDOを作ると、接続を全部共有することになってしまい、トランザクションの開始タイミングをかなりシビアに設計しないといけなくなります。

PHPでは必要ないという判断なのだとしたら、どういう経緯や理由なのでしょうか？
またご存知であれば(推測でなければ)事実を元にした根拠の提示をお願いします。

[m.ts10806]

コネクションが同じとは書いてませんし、何が不思議かわかりませんが、出ているメッセージが事実では？
>There is already an active transaction

このことからオブジェクトが別でも接続先が同じで閉じられてなければ同時にトランザクションは貼れないという事実となり、マニュアルにある「トランザクションが既に開始されている場合」という仕様通りの挙動になっています。
解放されないままトランザクションは得られないですよ。解放されるまでロックされてると理解してください。（それにDB関係にシビアな設計が必要なのは当たり前です）

質問者さんこそ「思っていた」と自身の解釈のみで根拠がありません。

[dameo]

えーっと、伝わっていないようですね。ATTR_PERSISTENT=falseなら接続は2つできるのです。
ATTR_PERSISTENT=trueで使用済みのコネクションを破棄せずにコネクションプールに返し、取ってくるだけなら、使用中のものを他に渡す必要はないのではないか？と言ってるのですよ。私の知る限りですが、他の言語の実装はそうなっています。
そうしていないからには、何かしらの理由があるはずと言っています。(原理的に不可能というわけではありませんが)同じ物理的な接続でトランザクションを複数開始できないデータベースは多いです。そのこととは私も知っています。そういう話ではなく、その前提の上で持続的接続をm.ts10806さんのおっしゃる仕様にするのは窮屈に過ぎるのです。理由については前回のコメントで事細かにしましたが全然伝わってないので割愛します...

残念ですが、私にとって付加される価値のある情報が何もないので、低評価にしておきます。

[m.ts10806]

低評価されるのは結構なのですけど、自身の自信の根拠を示されないことには単に駄々こねてるのと変わりません。今のところすべて自己解釈のみです。
せめて公式ドキュメントくらい引っ張ってこれませんか？
エラーの理由はすでに述べています。
どこまで突っ込みたいのか分かりませんが、自身の懸念を確認するようなミニマムコードは組んで確かめられましたか？

[m.ts10806]

私はプログラムを思ったとおりには動かせないので、プログラムの仕様に則り書くことしかできません。
PHPやDBの仕様が気に入らない窮屈だとおっしゃるのでしたら、極論、言語もDBも自身のやりたい設計を体現したものに変更するか、自分で作るしかないのでは？
探求したいのでしたら、PHPの元ソースはGithubに公開されているのでそちらを追うのが最も確実です。
ネット上で他人の解釈を聞くより100%の情報源です。

[dameo]

そもそも現象を説明するためだけの最低限のコードが上ですよ。ほぼ空でしょ？
公式ドキュメントはあなたが提示したものも含め読んでいます。もし載せるならコレです。
https://www.php.net/manual/ja/pdo.connections.php
ここに書いてない理由を聞いているのですよ。自分より分かってなくて伝わらない人に説明したいのではなく、質問したいのです。とりあえず要件を満たしていない回答をしていつまでもコメントしないでもらえますか？

[退会済みユーザー]

PHP開発公式側に問うならともかく、一般の開発者はドキュメントから察してミニマルなテストコードを書いて挙動を把握して使うしかないわけで。
ところで、PDO::ATTR_PERSISTENT => true のときって、トランザクションもコミット/ロールバックせずにphpの処理を抜けたら、そのトランザクションってどうなっちゃうんですかね。
書いたコードにデバッグ情報を仕込んで、トランザクション周りがどうなっているか観測できませんか？

[dameo]

今回のように調べた上で経緯や理由などを確認するために(もしくは勘違いや不具合でないことを確認するために)、有識者に問うのが普通です。ただココには有識者がいないようですね。それだけです。
PHPの処理系の開発手順が不明で、仕様がどう決まってるのかよく分かりませんが、とりあえずCのコードから現在追っているところです。PHP自体には何の興味もないのですが...(調べた経緯は https://teratail.com/questions/340982 なので)

私が説明するのもなんですが、自動コミットを切ってトランザクションにしてるのに勝手にコミットするアホな実装はありえないので、ロールバックです。そうなってなければ、あなたがどうかは分かりませんが、多くの人はバグだと思うと思いますよ。いろいろな資料を読むと、過去にはそういう状態になって問題を起こし、ATTR_PERSISTENT自体を使用しない選択をした人も多かったようです。

実際私が使うにしても、今の挙動がバグでないのなら、トランザクションの開始を実際のDMLまで遅らせるラッパーフレームを作るところから始めるでしょうね。

[退会済みユーザー]

《有識者に問うのが普通》という割には、ここではなく本来もっとふさわしい土俵(php専門に議論してるメーリングリストなど)があるはずなので、様々な言語や仕組みを扱うteartailへの過剰な期待を抱いたところでどうしようもないかと。（あくまで個人の独断と偏見ですが。）

[dameo]

仮に回答が付かなかったとしても、有識者が回答すべき質問が増えれば、teratailも少しはマシになると思いますよ。ただPHPやってる人(普通はそういう人を有識者と呼ぶんだけど...)なら別に誰でも知っているべき簡単な話だと思っています。特に昔からWebで発展したphpはDBと共に歩んできたはずなので。。。

MLは今まともに活動してるところあるんでしょうかね。よく知りません。slackとかdiscordならあるかもしれませんが、英語かもしれませんね。

[rana_kualu]

日本には無いんじゃないかなあ。

Answer 3

少し前のお話しなので、今更かもしれませんが、
複数のPDOオブジェクトでそれぞれ異なる接続を使いながら永続接続を利用したい
というのがそもそもやりたいことだと思いましたので、
PDO::ATTR_PERSISTENT　に数値でもboolでもない文字列を設定すればよいのでは
ないでしょうか？
設定された文字列が同じもの同士が１つの接続になると思いますので、
例えば「該当のソースコード」にあるpdoTestのインスタンスを作成する際に
$test1 = new PdoTest('con1');
$test2 = new PdoTest('con2');

のように異なる文字列がPDO::ATTR_PERSISTENTに設定されれば
別接続として管理されると思うのですが。

Comments

[dameo]

ちょっともうあまり覚えていませんが、やりたいことではなくて、trueにしたときになぜエラーになるのか理由を聞いている質問なので、無関係な回答ですね。

[dameo]

あと、コンストラクタの書き方が流石にまずいので質問コードを見て、正しく直しておいてください。

[beadv]

無関係でしたか・・・失礼しました。

コンストラクタの件は、元のソースのクラスを生成する際のサンプルとして記載したのですが
前提が記載されていないのでわかりづらいですね。

例えば「該当のソースコード」にあるpdoTestのインスタンスを作成する際に

の１文を追加しました。ありがとうございます。

[dameo]

いやあの例えば↓な感じでお願いします。
$test1 = new PDO($dsn, $user, $pass, array(PDO::ATTR_PERSISTENT => 'con1'));
$test2 = new PDO($dsn, $user, $pass, array(PDO::ATTR_PERSISTENT => 'con2'));

[dameo]

すみませんが覚えていられないので、修正されるまでの間だけ低評価させてもらいました。