Sqlite3のtransactionをcommitする前に内容を確認したい

Question

Python3.5でsqlite3を使用しています。
あるトランザクションを反映させる前に変更内容を確認したいと思います。
通常ならばコードを見れば何をしているかわかるのですが、
前提として実行したSQLは全く分からない状況にあります。
実行したSQLの一覧でも取得できればいいのですが、何か良い方法はありませんか？
解答の方を宜しくお願いします。

Comments

[umyu]

どういう要件があって「トランザクションを反映させる前に変更内容を確認したい」のでしょうか？

[namuyan]

外部からひとまとまりのコードが流れてきて内部の状態変化に寄与します。このコードの内容はわからずそのままcommitするのは躊躇されるので確認作業を入れようと考えました。

Answer 1

sqlite3.Connection#set_trace_callback関数が使えます。

以下はサンプルコードです。

# -*- coding: utf-8 -*-
import sqlite3
from contextlib import closing
from logging import FileHandler, DEBUG, getLogger

handler = FileHandler("test.log")
handler.setLevel(DEBUG)
logger = getLogger("test")
logger.setLevel(DEBUG)
logger.addHandler(handler)


def main() -> None:
    db_name = ':memory:'
    # connectionの閉じ忘れを防ぐためにcontextlib#closingを使用。
    with closing(sqlite3.connect(db_name)) as conn:
        conn.set_trace_callback(print)
        # ログ・ファイルにSQLを書き出したい時は以下のコメントを外してくださいな。
        #conn.set_trace_callback(logger.debug)
        conn.execute('SELECT 1')


if __name__ == "__main__":
    main()

Answer 2

追記：スミマセン、ラッパーのアイデアが浮かんだのでコメントしてしまいましたが、1,2などによい方法があるかどうか調べずに回答しています。「そんな方法も考えられる」ぐらいに受け取っていただければと思います。

---

1. sqlite3のデバッグ用機能がないか調べてみる
2. デバッグ用のフレームワーク的なものがないか調べてみる(アマチュアなので積極的に調べません)
3. デバッグ用ラッパーを作ってみる(アマチュアなのでこういうの書きたくなります)

自分だと繰り返し使いそうなら適当にデバッグ用ラッパーを書こうとしてしまうかも知れません。

アプリソース

#import sqlite3
import sqlite3_dbg as sqlite3  # for debugging
...

sqlite3_dbg.py(デバッグ用ラッパー)

import sqlite3

def connect(*args):
  return ConnectionWrapper(sqlite3.connect(*args))

class ConnectionWrapper(sqlite3.Connection):
    def __init__(self, delegate):
        self.delegate = delegate
        self.sqls = []

    def cursor(self):
        return CursorWrapper(self, delegate.cursor())

    def dbg_execute(args):
        self.sqls.append(args)

    def commit()
        # self.sqlsを参照して何かする
        self.delegate.commit()
        self.sqls = []

    ...

class CursorWrapper(sqlite3.Cursor):
    def __init__(self, connection_wrapper, delegate):
        self.connection_wrapper = connection_wrapper
        self.delegate = delegate

    def execute(self, *args):
        self.delegate.execute(*args)
        self.connection_wrapper.dbg_execute(args)

    ...

できたらデバッグ用に一部の関数だけパッチしたい気もしますが

def patch_sqlite3():
   org_connect = sqlite3.connect
   sqlite3.connect = dbg_connect
   def dbg_connect(*args):
       ...

こうしたライブラリーのattributeは普通readonlyなのでこういうパッチという安直な手は打てないかと思います。

そういうわけでラッパーをイメージするのですが、ラッパーにすると少なくとも自分が使う機能についてオーバーライドしないといけないのであまり複雑な機能のものは作ること自体が面倒です。しかしsqlite3ぐらいであればそれほど面倒でもない感じがしました。

ソースを変更するのではなくPYTHONPATHに細工をした方が都合がいいこともあるかも知れません。しかし、あくまでデバッグ目的なのでimportが1ファイルだけならあまり凝らずにimportを書き換えた方がよいのかも知れません。

Comments

[umyu]

ラッパーを作るより、実行したSQLの取得に限定するならば、conn.set_trace_callback(print)が使えるかと。
https://docs.python.jp/3/library/sqlite3.html#sqlite3.Connection.set_trace_callback

[KSwordOfHaste]

コメントありがとうございます。
なるほどやはり1の機能があるんですね！そんな気がしましたｗ；
---
自分は回答ひかえますので、お手すきなら回答つけていただければと思います。＞umyuさん

[KSwordOfHaste]

to: 質問者さん
自分も調べずに直感的に「こうしたらいいかな」みたいに考えちゃいましたが、やはりリファレンスをよく見るというのが教訓ではないでしょうか。お互い気を付けましょう！（自爆）

[umyu]

回答にクレームを付けた形になって申し訳ないです。。。
私としては質問内容に追記依頼しましたが、どういう要件なのかで回答が変わると思ってるので。。。

[KSwordOfHaste]

いえいえ、解答直後に「自分でもあまり考えずにコメントした」と思ったので追記したぐらいですし。

なお、自分は「期待通りの結果が得られないときコードを追っかけて調べるのが大変なので、要領よくどんなSQLを(commit間で)出しているかデバッグしたい」のかなぁという想定でコメントしちゃってます。

[namuyan]

こんにちは、umyuさん。
解答をして頂ければBAにしますのでお願いします。

[umyu]

namuyanさんへ了解です。