Threadを用いた結果、RuntimeError: main thread is not in main loopが出る

Question

前提・実現したいこと

Pythonを用いて、PCキーボードを用いた演奏アプリを作っています。
・PCのキープレスと周波数を対応させ、キーを押すたびに異なる音が出力されるようにしています。
・キーイベントの検出とsin波のグラフ作成にtkinterを用いて、音の出力にpyaudioを用いています。
上記に加えて、画面上にテンポをカウントしてくれるメトロノームのような機能をつけようと思っています。

試したこと

メインループでグラフのプロットと音の出力を行うため、メトロノーム機能はスレッドで実施しようと考えました。
メインスレッドとサブスレッド間のやり取りにはstart_flagを用意し、メインウィンドウ上のstartとstopボタンが押されるとself.start_flagが切り替わり、その通知を受けてスレッド上でtimerメソッドが時間をカウントするようにしました。

#=== アプリケーションの定義
class Synth_application(tk.Frame):
 # 初期設定
    def __init__(self, master=None):
…
        #　スレッドの生成と開始
        self.thread1 = threading.Thread(target=self.timer)
        self.thread1.start()
        
 # 初期値
    def start_up(self, gain=0.25, rate=44100, chunk_size=1024):
…        
        # timerスレッドの初期値
        self.start_flag = False
        self.count = 0
                
 # ウィジットの定義
    def create_widgets(self):
…       
        # メトロノームウィジェット
…        
        self.start_button = tk.Button(self.metronom_innerBox, text="start")
        self.start_button.grid(column=0, row=0)
        self.stop_button = tk.Button(self.metronom_innerBox, text="stop")
        self.stop_button.grid(column=0, row=1)
        self.metronom_label = tk.Label(self.metronom_innerBox, font=("", 20))
        self.metronom_label.grid(column=1, row=0, padx=20, rowspan=2)
        
        self.start_button.bind("<ButtonPress>", self.start_button_click)
        self.stop_button.bind("<ButtonPress>", self.stop_button_click)
        
…
        
    # スタートボタンが押された時の処理
    def start_button_click(self, event):
        self.count = 0
        self.start_flag = True

    # ストップボタンが押された時の処理
    def stop_button_click(self, event):
        self.start_flag = False
        
    # タイマー
    def timer(self):
        while not self.quitting_flag:
            if self.start_flag:
                self.metronom_label.config(text=self.count)
                self.count += 1
                if self.count > 4:
                    self.count = 1

                import time
                time.sleep(60/self.bpm)
…

root = tk.Tk()
app = Synth_application(master=root)
app.mainloop()

発生している問題・エラーメッセージ

上記コードでアプリ自体は動くのですが、下記のエラーが発生します。
また、その影響かメインスレッドで音を鳴らすとタイマーの数字の変わる時間が遅延します。
スレッドを加えていないときは下記エラーは出ませんでした。

RuntimeError: main thread is not in main loop

作成したコード

# ライブラリのインポート
import tkinter as tk
import numpy as np
import pyaudio
import matplotlib.pyplot as plt
from matplotlib.backends.backend_tkagg import FigureCanvasTkAgg
from matplotlib.figure import Figure
import threading


#=== アプリケーションの定義
class Synth_application(tk.Frame):
 # 初期設定
    def __init__(self, master=None):
        # メインウィンドウの設定
        super().__init__(master)
        self.master = master
        self.master.title('Synth_Application')
        self.master.resizable(width=False,height=False)
        self.master.geometry('700x570')

        # sin波の初期値設定
        self.start_up()
        
        # ウィジットをつくる
        self.create_widgets()
        
        # pyaudioの開始             
        self.p = pyaudio.PyAudio() 
        self.stream = self.p.open(format=pyaudio.paFloat32,
                                  channels=1,
                                  rate=self.rate,
                                  frames_per_buffer=self.chunk_size,
                                  output=True)

        self.master.protocol("WM_DELETE_WINDOW", self.quit_app)

        #　スレッドの生成と開始
        self.thread1 = threading.Thread(target=self.timer)
        self.thread1.start()
        
 # 初期値
    def start_up(self, gain=0.25, rate=44100, chunk_size=1024):
        global freq

        freq = 261.26
        self.duration = 0.5
        self.bpm = 100
        self.gain = gain
        self.rate = rate
        self.chunk_size = chunk_size

        self.start_pos = 0
        self.end_pos = self.start_pos + self.duration * self.rate
        
        self.t = np.arange(self.start_pos, self.end_pos) / self.rate
        self.sin_t = self.gain * np.sin(2 * np.pi * 0 * self.t)
        
        # timerスレッドの初期値
        self.start_flag = False
        self.quitting_flag = False
        self.count = 0
        
        
 # ウィジットの定義
    def create_widgets(self):
        self.canvas_frame = tk.Frame(self.master, width=700, height=250, bg="#000080")
        self.canvas_frame.grid(column=0, row=0)
        self.canvas_frame.grid_propagate(0)
        self.canvas_frame.grid_anchor(tk.CENTER)

        self.option_frame = tk.Frame(self.master, width=700, height=320, bd = 5, relief = tk.GROOVE) # New
        self.option_frame.grid(column=0, row=1)
        self.option_frame.grid_propagate(0)
        self.option_frame.grid_anchor(tk.CENTER)
        
        # グラフウィジット
        self.chunk_labelFrame = tk.LabelFrame(self.canvas_frame, text="WaveForm", fg='white', bg='#444', relief=tk.FLAT)
        self.chunk_labelFrame.grid(column=0, row=0)
        self.chunk_innerBox = tk.Frame(self.chunk_labelFrame)
        self.chunk_innerBox.grid(column=0, row=0)

        fig = Figure(figsize=(6.5,2), dpi=100, tight_layout=True, facecolor='#F0F0F0')
        axes_wave = fig.add_subplot(1, 1, 1)
        axes_wave.set_ylim([-(self.gain + 0.05), (self.gain + 0.05)])
        self.line_wave, = axes_wave.plot(self.sin_t[:500])       
        
        self.canvas = FigureCanvasTkAgg(fig, master=self.chunk_innerBox)
        self.canvas.get_tk_widget().pack(padx=10, pady=10)
        self.canvas.get_tk_widget().bind('<Any-KeyPress>', self.press_key)
                
        # BPMスケールバーウィジェット
        self.scale_labelFrame = tk.LabelFrame(self.option_frame, text="BPM", fg='white', bg='#444', relief=tk.FLAT) # New
        self.scale_labelFrame.grid(column=0, row=1, padx=20, sticky=tk.N)
        self.scale_innerBox = tk.Frame(self.scale_labelFrame, width=250, height=50)
        self.scale_innerBox.grid(column=0, row=0)
        self.scale_innerBox.grid_propagate(0)
        self.scale_innerBox.grid_anchor(tk.CENTER)
        
        self.bpm_scale = tk.DoubleVar()
        self.bpm_scale.set(100)
        self.bpm_scalebar = tk.Scale(self.scale_innerBox,
                                    variable=self.bpm_scale,
                                    from_=10,
                                    to=200,
                                    resolution=2,
                                    orient=tk.HORIZONTAL,
                                    length=150,
                                    command=self.reset_bpm)
        self.bpm_scalebar.grid(column=0,row=0, padx=100, pady=20)
        
        # メトロノームウィジェット
        self.metronom_labelFrame = tk.LabelFrame(self.option_frame, text="Metronom", fg='white', bg='#444', relief=tk.FLAT)
        self.metronom_labelFrame.grid(column=0, row=2, padx=20)
        self.metronom_innerBox = tk.Frame(self.metronom_labelFrame, width=250, height=70)
        self.metronom_innerBox.grid(column=0, row=0)
        self.metronom_innerBox.grid_propagate(0)
        self.metronom_innerBox.grid_anchor(tk.CENTER)
        
        self.start_button = tk.Button(self.metronom_innerBox, text="start")
        self.start_button.grid(column=0, row=0)
        self.stop_button = tk.Button(self.metronom_innerBox, text="stop")
        self.stop_button.grid(column=0, row=1)
        self.metronom_label = tk.Label(self.metronom_innerBox, font=("", 20))
        self.metronom_label.grid(column=1, row=0, padx=20, rowspan=2)
        
        self.start_button.bind("<ButtonPress>", self.start_button_click)
        self.stop_button.bind("<ButtonPress>", self.stop_button_click)
        
    def reset_bpm(self, bpm):
        self.bpm = self.bpm_scale.get() # New
        self.DURATION = {            
            'L4': (60 / self.bpm * 4) / 4,  # 四分音符
        }
        
 # sin波の作成
    def create_sinwave(self, duration, freq):
        self.duration = duration
        self.freq = freq
        
        self.start_pos = self.end_pos
        self.end_pos = self.start_pos + duration * self.rate
        self.t = np.arange(self.start_pos, self.end_pos) / self.rate
        self.sin_t = self.gain * np.sin(2 * np.pi * freq * self.t)

    def press_key(self, event):
        global freq
        self.key = event.keysym
        if self.key == 'a':
            freq = FREQ_SCALE['ド/C4']
            self.create_sinwave(self.duration, freq)
            self.play()
        elif self.key == 's':
            freq = FREQ_SCALE['レ/D4']
            self.create_sinwave(self.duration, freq)
            self.play()

        self.reset_sinwave()


    def play(self):
        self.stream.write(self.sin_t.astype(np.float32).tobytes())

    def reset_sinwave(self):
        self.line_wave.set_ydata(self.sin_t[:500])
        self.canvas.draw()      

    # 終了ボタンが押された時の処理
    def quit_app(self):
        self.stream.close()
        self.master.destroy()
        
    # スタートボタンが押された時の処理
    def start_button_click(self, event):
        self.count = 0
        self.start_flag = True

    # ストップボタンが押された時の処理
    def stop_button_click(self, event):
        self.start_flag = False
        
    # タイマー
    def timer(self):
        while not self.quitting_flag:
            if self.start_flag:
                self.metronom_label.config(text=self.count)
                self.count += 1
                if self.count > 4:
                    self.count = 1

                import time
                time.sleep(60/self.bpm)

# パラメータ
FREQ_SCALE = {
    'ド/C4': 261.626,
    'レ/D4': 293.665
}

root = tk.Tk()
app = Synth_application(master=root)
app.mainloop()

Answer 1

前回の質問は解決しましたか？

同種の問題で、前回の回答と同様に、GUI関連はメインスレッドのみにして、
オーディオ部分を別スレッドにすれば、ラグの問題も解消するはずです。

問題点:
GUIが破棄された後も、サブスレッドで破棄済みのGUIへのアクセスが発生する。

メインスレッドでGUIを動かしている状態で、サブスレッドからもGUIを直接操作するのは
スレッドセーフな操作ではありません。

解決策:

今回の問題のみであれば、タイマーにはスレッドではなく
tkinter の提供するタイマー機能 (after 関数) を使って、
同等のタイマー処理を実装することで、メインスレッド側で実行できるので、
スレッド関連のエラーは避けることができます。

音を鳴らすときのラグは別問題で、オーディオ関連の処理を別スレッドにする必要があります。

---

追記
ソースコードを読んでみて、メトロノーム用途でのタイマー利用だったので、少し追記

GUIの提供するタイマーの精度では不満がある場合であれば、
より高精度のタイマー目的としてスレッドを使うという選択肢はあります。
但し、その場合でもGUI の操作は、スレッド間で通知を行い メインスレッド側で行います。

---

追記2: エラーの回避策(もし終了時に表示されるエラーだった場合)
スレッドにdaemon=True 引数を指定すると、メインスレッド終了時にサブスレッドも終了するので
根本的な問題解決にはなりませんが、エラー自体は回避できるかもしれません。

Comments

[lteru]

丁寧にありがとうございます。
オーディオ部分を別スレッドにするとカーネルが落ちてしまうため劣後していましたが、もう少し考えてみようと思います。

[teamikl]

>オーディオ部分を別スレッドにするとカーネルが落ちてしまう

前回「カーネルが落ちる」と提示されていたコードでは、
オーディオ部分は別になってませんが、別のコードですか？

こちらでは再現出来ませんが、問題になりそうな点として
プログラムの終了時にstream.close() した後に
stream.write() が発生してないか確認して見て下さい。

====
問題解決のためには、問題の再現手順の提示も必要です。
例えば、プログラム終了時の問題だった場合、操作方法により挙動が変わっているはずです

- ストップボタンを押してからアプリケーションを終了する → サブスレッドは正常終了
- ストップボタンを押さずにアプリケーションを終了する → サブスレッドは動き続ける
　破棄済みのリソースをサブスレッドで使おうとしてエラー、というケースが考えられます。

スレッドを安全に終了するには、終了ボタンが押された時の処理 の先頭に

self.quitting_flag = False # スレッド側のループを抜ける為のフラグ
self.thread1.join() # スレッドの終了を待つ。時間が掛かるとGUIはフリーズするので注意。

サブスレッドを終了させた後に stream.close や master.destroy をすると
一時的な回避策ですが、とりあえず破棄済みのリソースに対するアクセスは避けられます。

根本的な対策としては、メインスレッドで生成・破棄するリソースを
サブスレッドから使うと同種の問題が発生しやすいので、
サブスレッド内で扱うリソースはサブスレッド側で生成・破棄すると良いです。