Python3 Tkinter データベースの書き込みについて

Question

Tkinterのエントリに入力した文字列をデータベースに書き込みたいのですが、Raspberry PiでやったところDB書き込みに少し時間がかかっているような気がしました。書き込みに時間がかかると次のデータ入力まで画面が止まってしまうのでなんか気に入りません。

そこでスレッドを使って入力をスムーズにしようと思って（これがいいやり方かはわかりませんが･･･）、次のようにソースコードを書きました。

import pymysql
import threading
import tkinter as tk


def cnct():
    global cnctn, cur
    cnctn = pymysql.connect(
        host = "localhost",
        user = "root",
        password= "" ,
        db = "test",
        charset = "utf8"
    )
    cur = cnctn.cursor()


def insert():
    global cnctn, cur, str
    for i in range(100000): # とりあえずスレッドでできてるか見たいのでめっちゃDBに書き込む
        cur.execute("INSERT INTO test VALUES(%s, %s);", (str, "abc"))
        cnctn.commit()  # コミットは逐次するよりも後で1回だけやったほうが時間かからない


def discnct():
    global cnctn, cur
    cur.close()
    cnctn.close()

def push(e):
    global str, entry, t
    str = entry.get()
    print(str)
    entry.delete(0, "end")
    t = threading.Thread(target=func)
    t.start()
    #t.join() # ここに記述したらフリーズした


def func():
    global t
    cnct()
    insert()
    discnct()
    t.join()


win = tk.Tk()

entry = tk.Entry(win)
entry.grid()

button = tk.Button(win, text="save")
button.grid()

button.bind("<ButtonRelease>", push)

win.mainloop()

しかし

RuntimeError: cannot join current thread

とエラーが出てしまいます。

エラー文的にはt.join()がダメなのだろうと思いますが、どこに書けば良いかわかりません。

どのように対処すれば良いでしょうか？
回答よろしくお願いします。

また、
DB書き込み最中に閉じるボタンを押した時、とりあえずスレッド内でグローバルなフラグでも入れて、Trueの時は閉じないみたいなif文をつけて対処しようと思っています。
（ソースコードに終了時の動作を書いてないので考えていることだけ書いておきます。実現できるかはやってみないと自分にはわかりませんが･･･。）

Answer 1

#1. スレッドについて

質問者さんのコードを見るとボタンを押すたびに新規のスレッドを生成することを考えていると思います．私としては1つ生成すれば十分だと思います．

そのスレッドに，teamiklさんとのやりとりで質問者さんが書いた

スレッドの中をループにして、ループ中にDB書き込みするかどうかのif文を作ったほうがいいですかね？

をすればいいと思います．

#2. フリーズについて

コードのコメント文にあるフリーズは単にループ回数が多すぎるからずっと処理しているだけではないでしょうか？回数を減らせばフリーズしなくなるかもです．ただし，ボタンを押した時の動作として「スレッドを生成して終わるまで待っている」のでスレッドを使っている意味がないように思えます．
（UI上ではボタンを押し込んだ状態でスレッド終了するまで止まっています．）

#3. 終了時の動作について

DB書き込み最中に閉じるボタンを押した時、とりあえずスレッド内でグローバルなフラグでも入れて、Trueの時は閉じないみたいなif文をつけて対処しようと思っています。（ソースコードに終了時の動作を書いてないので考えていることだけ書いておきます。実現できるかはやってみないと自分にはわかりませんが･･･。）

できると思います．

#4. まとめ

以上3点を踏まえてソースコードを変えてみました．

import pymysql
import threading
import time
import tkinter as tk


def cnct():
    global cnctn, cur
    cnctn = pymysql.connect(
        host = "localhost",
        user = "root",
        password= "" ,
        db = "test",
        charset = "utf8"
    )
    cur = cnctn.cursor()


def insert():
    global cnctn, cur, str
    for i in range(100):
        cur.execute("INSERT INTO test VALUES(%s,%s);", (str, "abc"))
        cnctn.commit()  # コミットは逐次するよりも後で1回だけやったほうが時間かからない


def discnct():
    global cnctn, cur
    cur.close()
    cnctn.close()

def push(e):
    global str, entry, data_flag
    if data_flag == True:
        print("can't write.")
    else:
        str = entry.get()
        if str == "":
            print("str == ''")
        else:
            print(str)
            entry.delete(0, "end")
            data_flag = True


def func():
    global loop_flag, data_flag
    while loop_flag:
        if data_flag == True:
            cnct()
            insert()
            discnct()
            data_flag = False
        else:
            pass
        time.sleep(1)

def tk_end():
    global loop_flag, data_flag, t
    if data_flag == True:
        print("writing now･･･")
    else:
        loop_flag = False
        t.join()
        win.destroy()


loop_flag = True
data_flag = False

win = tk.Tk()

entry = tk.Entry(win)
entry.grid()

button = tk.Button(win, text="save")
button.grid()

t = threading.Thread(target=func)
t.start()

button.bind("<ButtonRelease>", push)

win.protocol("WM_DELETE_WINDOW", tk_end)

win.mainloop()

何か勘違いしていたらすみません．

修正（2019/06/04）

ソースコードpush関数を修正しました．連続で保存した時に欠落がありました．実際はしないのでしょうが，for文で同じデータを100レコード保存する部分です．100レコード保存する前に次のstrを保存してしまうため，書き込めないようにしました．
もしかしたらスレッドは新規に作るのがいいかもしれません．個人的には，ループで保存処理する必要がなければ，「UIの操作時間＞保存に要する時間」と言う観点から無視してもあまり問題はなさそうに思えました．

Comments

[teamikl]

大量の書き込みはテスト用とのことなので、恐らく当面している問題は、
保存時に（データベース接続・書き込み・切断）が毎回発生して、
その間 GUI のメインループが止まる(一瞬ですが一時的に操作を受け付けなくなる)
のが問題だったのかと思います。

スレッド起動やデータベース接続を事前に準備しておくことは、
レスポンス改善には繋がるので、試す価値はあると思いますが、

スレッドの事前準備はともかく
データベース接続はlocalhost 以外だと接続時間のtimeoutや、再接続問題があったりして
状況次第ですが、実際には難しい場合もあるのかもしれません。

あと、実際には固定のデータの書き込みではなく、
GUIに入力した任意のデータを書き込みしたいはずなので、
それをスレッド起動時の引数にする感じだったのかな。

[P_Beginner]

確かにDBについてはアプリ起動のタイミングで接続しっぱなしの方がいいですね．

フリーズについては，自分の環境ではフリーズ中もDBへINSERTされていたのとしばらく放置しておくとINSERTが終わって再び操作できるようになったのでループのせいだと思っていました．

Answer 2

キューの説明の辺り、コードを参考にして下さい。

#!/usr/bin/env python3.8

import tkinter as tk
from tkinter import ttk
from threading import Thread, current_thread
from queue import Queue

SQL_CREATE_TABLE = """
    CREATE TABLE message_table (
        id INTEGER PRIMARY KEY,
        message VARCHAR(64),
        created TIMESTAMP DEFAULT (DATETIME('now', 'localtime'))
    )
"""

SQL_INSERT = """
    INSERT INTO message_table(message) VALUES (?)
"""

SQL_SELECT_ALL = """
    SELECT * FROM message_table
"""

SQL_SELECT_COUNT = """
    SELECT COUNT(id) FROM message_table
"""


def worker(queue, after_idle):
    print("WORKER THREAD:", current_thread())

    # テスト用で sqlite3 を :memory: で使います。(データはファイルへ保存されません)    
    import sqlite3

    # データベースの切断などの後始末は、コンテキストマネージャに任せる
    with sqlite3.connect(":memory:") as con:
        cur = con.cursor()
        cur.execute(SQL_CREATE_TABLE)

        for item in iter(queue.get, None): # Noneが送られてくるまでループ / キューが空の場合は待機

            # キューに送るアイテムの形式は、用途に応じて自由に決めます。
            # ここでは、１つ目にイベント識別の文字列、２つ目以降は任意の長さの引数としました。
            event, *args = item

            if event == "DB_INSERT":
                cur.execute(SQL_INSERT, args)

            elif event == "DB_COMMIT":
                con.commit()

            elif event == "TK_UPDATE_COUNT":
                callback = args[0]
                cur.execute(SQL_SELECT_COUNT)
                total = cur.fetchone()[0]

                # ※ 重要: GUI の更新は 必ずメインスレッドで行う
                after_idle(callback, total)

        # Debug
        if 1: # テーブルの内容を出力
            cur.execute(SQL_SELECT_ALL)
            for row in cur.fetchall():
                print(row)


def main():
    root = tk.Tk()
    root.geometry("300x80")
    text = tk.StringVar(root)

    # Queue は、サブスレッド側で読み出しているので、一方向のデータ通信です。
    # サブスレッド側からデータベースのデータを受け取るには、もう一つ別のキューが必要になりますが、
    # tkinter の場合、mainloop() で処理されるキューを用いることができます。-> after, after_idle

    queue = Queue()
    thread = Thread(target=worker, args=(queue, root.after_idle))
    thread.start()

    print("MAIN THREAD:", current_thread())

    def update_total_count(total):
        # 確認用: メインスレッドで実行される
        print("update_total_count(): ", current_thread())
        root.title("Total {} records".format(total))

    def post_message():
        queue.put(("DB_INSERT", text.get()))
        queue.put(("DB_COMMIT", None))
        queue.put(("TK_UPDATE_COUNT", update_total_count))
        text.set("")

    ttk.Entry(root, textvar=text).pack(fill=tk.X, expand=1, side=tk.LEFT)
    ttk.Button(root, text="Post", command=post_message).pack(side=tk.RIGHT)
    root.mainloop()

    # ウィンドウを閉じた後に実行される。
    # tkinterの要素はmainloop以降呼び出せない点に注意
    #
    #   上記の例であれば、"TK_UPDATE_COUNT" は root.title() にアクセスするので
    #   mainloop()以降に呼び出された場合、エラーになります。
    #   (RuntimeError: main thread is not in main loop)
    #
    # これを回避するには、WM_DELETE_WINDOW protocol を利用する。

    queue.put(None) # キュー読込ループを終わらせるため、終端要素を送る
    thread.join() # スレッドの完了を待つ


if __name__ == '__main__':
    main()

Answer 3

通常であれば、終了時・ウィンドウを閉じる時で、スレッドの完了を待ちたい時に呼び出します。

tkinter の場合、mainloop() の後ろに書くと、
ウィンドウが閉じられた後に処理されます。

win.mainloop()

t.join()

※ 関数内でグローバル変数を定義した場合、
その関数が呼び出されてないと、未定義でNameErrorになる点は注意してください。
出来れば、同じスコープ内でその変数を作っておいた方が良いです。

---

ただし、スレッド内の処理中に進捗等を GUI に表示したりする場合は、
mainloop() 後は tkitner が終了しているので使えません。

その場合は、ウィンドウを閉じる前にスレッドの処理を終わらせるようにします。

win = tk.Tk()

# 中略

def on_exit():
    # <-- ここでスレッドのループを終わらせる為のフラグ設定等をする
    t.join() # <-- スレッドの終了を待つ
    win.quit() # tkinter の終了

win.protocol("WM_DELETE_WINDOW", on_exit)
win.mainloop()

Comments

[person]

自分の想定としては、スレッドの中でループするというよりはボタンを押すたびにDB書き込みようのスレッドを新規に作るようなことを考えています。

スレッドの中をループにして、ループ中にDB書き込みするかどうかのif文を作ったほうがいいですかね？

[teamikl]

要点は
- thread.join() はスレッドを作成したスレッド(この場合メインスレッド) から、
　スレッドの処理の完了を待つために使います。
　その為、時間のかかる処理をしている場合は コードの実行は thread.join() の部分で止ります。
- tkiner のプログラムは、mainloop()の処理(GUI描画やイベント)を動かし続ける必要がある為
　thread.join() 等のブロッキング操作があると、GUIはフリーズします。
- なので何処で用いるかというと、tkinterを終了した後、プログラムの終了時が多いです。

ボタンを押してすぐ終わるような処理（ただしGUIのレスポンスが気になる程度)であれば、
thread.join() はなくても良い場合があります。毎回スレッドを作るのであれば猶更。

GUIのない、端末でのプログラムであれば、thread.join()がないと
メインスレッド自体がが終了してしまう事があるかもしれませんが。
GUIのプログラムの場合、そのまま起動しているのであれば、thread.join() はなくとも
メインではイベントループが動いてるので、スレッドの処理は続けられます。

＞スレッドの中でループするというより

スレッドで呼び出す insert()関数で for i in range(100000) としてますが、
実際にはループをしないという事ですか？

----
>スレッドの中をループにして、ループ中にDB書き込みするかどうかのif文を作ったほうがいい

これは少し無駄の多い処理になるので、字面通りの実装は待った方がいいです。

スレッドを予め作っておく利点は、データベースの接続をそのまま維持して使える事にあり
スレッドに「キュー(Queue)を渡して」、メインスレッドとでデータのやり取りをします。
スレッド側のループは、「Queueの読込待ち」とした方が良いです。
(ここは実際にQueueを使ったコードを見ないと解り難いかもしれません)

スレッド＆データベースを接続しっぱなしにした方が良いか、
毎回スレッドとデータベース接続を作った方が良いかは、書き込み頻度等と相談です。
(例えば、書き込み頻度が高いと、データベースの接続ログが肥大化する、等）
追記: API等を介さないアクセスだと、接続のタイムアウトや再接続の考慮も必要です。

[person]

for i in range(100000)についてはあまり気にしないでください。
実際はSQLのINSERT処理で数行DB書き込みするだけです。

わざわざforでループしているのはソースコメントに書いた「# とりあえずスレッドでできてるか見たいのでめっちゃDBに書き込む」です。

[teamikl]

>実際はSQLのINSERT処理で数行DB書き込みするだけ

これくらいの規模であれば、ループの処理待ちの問題はなさそうなので、注意が必要なのは、
もし複数のテーブルに対し書き込みがある場合で、不完全な書き込みが発生した場合ですね。

丁寧にスレッドの後始末をするなら
回答に書いた通り、プログラムの終了時にスレッドの完了を待つというのは変わりません。