threadがうまく機能しない

Question

前提・実現したいこと

Pythonを用いて、PCキーボードを用いた演奏アプリを作っています。
・PCのキープレスとサイン波の周波数を対応させ、キーを押すたびに異なる音が出るようにしています。
・キーイベントの検出とsin波のグラフ作成にtkinterを用いて、音の出力にpyaudioを用いています。
ここで、現行のコードでは、キープレス→音の出力→波形のプロットの順で実行されラグがあるため、波形プロットも音の出力と同時に実行したいと考えています。

試したこと

並列処理について調べたところ、threadを用いることで実現できそうだったため、reset_sinwaveを別スレッドで実行しようと考えました。

ここでスレッドに通知を送るために、start_fragを用意し、キーが押された際にフラグがTrueになり、サイン波がプロットされるようにしました。
スレッドに通知を送るために、play_fragを用意し、キーが押された際にフラグがTrueになり、音声が出力されるようにしましたが、音声が出力されません。

#=== アプリケーションの定義
class Synth_application(tk.Frame):
    def __init__(self, master=None):
…       
        self.thread2 = threading.Thread(target=self.play)
        self.thread2.start()
…
        self.play_flag = False
        
    def press_key(self, event):
        global freq
        self.key = event.keysym
        if self.key == 'a':
            freq = FREQ_SCALE['ド/C4']
            self.create_sinwave(self.duration, freq)   # def create_sinwave()に渡す
            self.play_flag = True
        elif self.key == 's':
            freq = FREQ_SCALE['レ/D4']
            self.create_sinwave(self.duration, freq)   # def create_sinwave()に渡す
            self.play_flag = True
…    
       
    # ストリームに渡して再生  パターン②    
    def play(self):
        if self.play_flag == True:
            self.stream.write(self.sin_t.astype(np.float32).tobytes())
            self.play_flag = False
…

ソースコード

下記で音の出力とグラフのプロットを同時にできると考えましたが、~~コードを実行してもすぐにカーネルが落ちてしまいます。何が足りないでしょうか。~~音声が流れません。

# ライブラリのインポート
import tkinter as tk
import numpy as np  # sin波
import pyaudio  # メモリ上の音楽を再生
import matplotlib.pyplot as plt
from matplotlib.backends.backend_tkagg import FigureCanvasTkAgg
from matplotlib.figure import Figure

import threading

#=== アプリケーションの定義
class Synth_application(tk.Frame):
    #=== 初期設定
    def __init__(self, master=None):
        # メインウィンドウの設定
        super().__init__(master) # 親クラス(Application)の __init__ メソッドを実行
        self.master = master
        self.master.title('Synth_Application')
        self.master.resizable(width=False,height=False) #ウィンドウ幅の固定

        # sin波の初期値設定
        self.start_up() 
        
        # ウィジットをつくる
        self.create_widgets()
        
        # pyaudioの開始             
        self.p = pyaudio.PyAudio() 
        self.stream = self.p.open(format=pyaudio.paFloat32,
                                  channels=1,
                                  rate=self.rate,
                                  frames_per_buffer=self.chunk_size,
                                  output=True)

        self.master.protocol("WM_DELETE_WINDOW", self.quit_app)
        
        self.thread2 = threading.Thread(target=self.play)
        self.thread2.start()

        
    #=== 初期値
    def start_up(self, gain=0.25, rate=44100, chunk_size=1024):
        global freq # 初期値のためにglobal変数が必要

        freq = 261.26
        self.DURATION = {
            'L4': (60 / 100 * 4) / 4,  # 四分音符
        }
        self.duration = self.DURATION['L4']
        self.bpm = 100
        
        self.gain = gain
        self.rate = rate
        self.chunk_size = chunk_size

        self.start_pos = 0
        self.end_pos = self.start_pos + self.duration * self.rate
        
        self.t = np.arange(self.start_pos, self.end_pos) / self.rate
        self.sin_t = self.gain * np.sin(2 * np.pi * 0 * self.t)
        
        self.quitting_flag = False
        self.play_flag = False
        
    #=== ウィジットの定義
    def create_widgets(self):
        #=== ウィジェット：LabelFrameウィジットをつくる
        self.chunk_labelFrame = tk.LabelFrame(self.master, text="WaveForm", fg='white', bg='#444', relief=tk.FLAT)
        self.chunk_labelFrame.grid(column=0, row=0)
        self.chunk_innerBox = tk.Frame(self.chunk_labelFrame)
        self.chunk_innerBox.grid(column=0, row=0)

        #=== Figureインスタンスをつくる
        fig = Figure(figsize=(2,2), dpi=100, tight_layout=True, facecolor='#F0F0F0')
        axes_wave = fig.add_subplot(1, 1, 1)
        axes_wave.set_ylim([-(self.gain + 0.05), (self.gain + 0.05)])
        self.line_wave, = axes_wave.plot(self.sin_t[:500])       
        
        self.canvas = FigureCanvasTkAgg(fig, master=self.chunk_innerBox)
        self.canvas.get_tk_widget().pack(padx=10, pady=10)
        self.canvas.get_tk_widget().bind('<Any-KeyPress>', self.press_key)
        
        
    # sin波の作成
    def create_sinwave(self, duration, freq):
        self.duration = duration
        self.freq = freq
        
        self.start_pos = self.end_pos
        self.end_pos = self.start_pos + duration * self.rate
        self.t = np.arange(self.start_pos, self.end_pos) / self.rate
        self.sin_t = self.gain * np.sin(2 * np.pi * freq * self.t)

    def press_key(self, event):
        global freq

        self.key = event.keysym
        if self.key == 'a':
            freq = FREQ_SCALE['ド/C4']
            self.create_sinwave(self.duration, freq)   # def create_sinwave()に渡す
            self.play_flag = True
        elif self.key == 's':
            freq = FREQ_SCALE['レ/D4']
            self.create_sinwave(self.duration, freq)   # def create_sinwave()に渡す
            self.play_flag = True
        elif self.key == 'd':
            freq = FREQ_SCALE['ミ/E4']
            self.create_sinwave(self.duration, freq)   # def create_sinwave()に渡す
            self.play_flag = True
    
        self.reset_sinwave()

        
    # ストリームに渡して再生        
#    def play(self):
#        self.stream.write(self.sin_t.astype(np.float32).tobytes())
        
    # ストリームに渡して再生  パターン②    
    def play(self):
        if self.play_flag == True:
            self.stream.write(self.sin_t.astype(np.float32).tobytes())
            self.play_flag = False

    def reset_sinwave(self):
        self.line_wave.set_ydata(self.sin_t[:500])      # グラフのy軸をアップデート
        self.canvas.draw()      

    def quit_app(self):
        self.stream.close()
        self.master.destroy()


# パラメータ
FREQ_SCALE = {  # 周波数f0のスケール
    'ド/C4': 261.626,
    'レ/D4': 293.665,
    'ミ/E4': 329.628,
}

root = tk.Tk()
app = Synth_application(master=root)
app.mainloop()

Comments

[y_waiwai]

カーネルが落ちるというのは具体的にどうなるんでしょうか。
また、OSはなんでしょうか

[lteru]

PCはM1MacでJupyterLab上で行っています。
カーネルが落ちる現象は解決しましたが、サブスレッドで音を鳴らそうとしたところ音が鳴りませんでした。

[teamikl]

確認の意味での質問ですが、
カーネルというのは Jupyterのカーネルでしょうか？
それともOSでしょうか？

[lteru]

JupyterLabのカーネルです！

[teamikl]

スレッドで実行する関数が変更されてるようなので、編集履歴から元のコードを確認しました。
Jupyterのカーネルが落ちるとすれば、原因はサブスレッドでの負荷の掛かるループ処理ですね。
サブスレッドの場合、負荷自体はtime.sleep で適度に待ち時間を入れる事で改善できます。
但し、解決策としては回答に記述した通り、GUIとオーディオのスレッドの分離を推奨します。

別問題で、オーディオデバイスのドライバ次第では、
プログラムの終了時にOSのカーネルが落ちる可能性もあったりします。

Answer 1

行のコードでは、キープレス→音の出力→波形のプロットの順で実行されラグがあるため
...
並列処理について調べたところ、threadを用いることで実現できそうだったため、
reset_sinwaveを別スレッドで実行しようと考えました。

別スレッドで実行する必要があるのは、ラグの原因となっている オーディオのstream.write 部分です。

スレッドを用いる場合であれば、
メインスレッドをGUI (tkinter + matplotlib の描画部分)
音声出力をサブスレッドで行う構成をお勧めします。

Comments

[lteru]

キーが押されるとstart_flagがTrueになり、サブスレッド上で音声が出力されるようにしようと思いましたが、音声が出力されませんでした。色々試しましたがなぜ音が鳴らないのか分からずです。。。
なにかおわかりになるでしょうか？
´´´
# ストリームに渡して再生 パターン②
def play(self):
if self.play_flag == True:
self.stream.write(self.sin_t.astype(np.float32).tobytes())
self.play_flag = False
´´´

[teamikl]

部分的な変更では対処が難しく、
オーディオ処理全体をサブスレッドに移し
スレッド間のやりとりでは、キュー等をつかい安全な方法でデータを受け渡す必要があります。

コメントに掲載のコードだけでは問題の全容が把握できませんが、
play() がサブスレッドで呼ばれていると仮定して、
少なくとも、サブスレッドからメインスレッド側で変更のある
データ(self.sin_t)を直接参照するのは、安全な操作ではありません。

音声が出力されない問題に関しては、self.play_flag が意図通り True
になってるかどうかを確認して見て下さい。

[teamikl]

概要のみですがプログラムの流れは以下の様になります。

MAIN スレッド: GUI (tkinter, pyplot)
SUB スレッド: オーディオ (pyaudio)

※ MAIN->SUB のデータの受け渡しにQueue を使います。

# 初期化時
SUB側でpyaudioを初期化

# キー入力時
MAIN: 入力されたキーに応じたデータを生成
MAIN: プロット更新
MAIN: Queue を通じて SUB へデータを送る
SUB: Queue のデータを読み出し、音声データ再生

# 終了時
MAIN: SUBの処理が終了するように通知
SUB: pyaudio の終了
MAIN: thread.join() で SUBが終了するまで待機

要点: オーディオ関連の処理はSUBのみにする、
またSUBでは GUIを直接操作しない。

====
補足: オーディオデータの生成をSUBスレッド側で行った方が良いケースもあります。
(メトロノームのタイミングの精度を改善したい場合等)
その場合は、SUB->MAIN の Queue も必要になり複雑化してくるので、
まずは、Queue を一つの場合で動作を確かめましょう。

[lteru]

上記のように記述したところ、無事ラグがなくなりました！ご丁寧にありがとうございました。