tkinterを用いて、pyaudioで取り込んだリアルタイムの波形を表示したい

Question

前提・実現したいこと

tkinterを用いて、pyaudioで取り込んだリアルタイムの波形を表示したい。

発生している問題・エラーメッセージ

真っ白なキャンバスが表示されるだけで、波形表示ができない。

該当のソースコード

import tkinter as tk
import tkinter.ttk as ttk
import pyaudio
import matplotlib.pyplot as plt
import numpy as np
from matplotlib.backends.backend_tkagg import FigureCanvasTkAgg
from matplotlib.animation import FuncAnimation 

def click():
    P = pyaudio.PyAudio()
    stream = P.open(format=pyaudio.paInt16, channels=1, rate=44100, frames_per_buffer=8820, input=True, output=False)
    ani = FuncAnimation(fig,update)

def update(Z):
    input = stream.read(8820, exception_on_overflow=False)
    ndarray = np.frombuffer(input, dtype='int16')
    ax.cla()
    ax.plot(ndarray)
    frame.after(200)

root = tk.Tk()
root.title("abc")
root.geometry("800x600") #####　guiの用意

frame = tk.Frame(root) ##### frameの用意

fig = plt.figure()
ax = fig.add_subplot(1,1,1)

canvas = FigureCanvasTkAgg(fig, master=frame) ##### frameにcanvasを置く
canvas.draw() ##### canvasを書く？

canvas.get_tk_widget().pack() ##### canvasを配置
frame.grid(row=0, column=0, columnspan=10, rowspan=5, padx=10, pady=10) ##### frameを配置

button = tk.Button(root, text='Start', command=click)

button.grid(row=6, column=11, columnspan=1, rowspan=1, padx=10, pady=10)

root.mainloop()

試したこと

threadingにて他の関数の場合問題なく起動することを確認

補足情報（FW/ツールのバージョンなど）

python3

Answer 1

stop ボタンを押せない問題の解消

主な変更点は、after の使い方

問題点: update 関数内でループしていると、
mainloop に処理が戻らず他の操作が効かない状態です。

• タイマー(after)を使って、tkinter 側から

　オーディオ読み出し処理を(gui処理の合間に)呼んで貰う。

• stopボタンの変数名と stop 関数が被っていたので、

　ボタンの変数名を変更

• start/stop をリソースの所得と解放と対になる処理に。

import pyaudio
import tkinter as tk
import matplotlib.pyplot as plt
import numpy as np
from matplotlib.backends.backend_tkagg import FigureCanvasTkAgg
from matplotlib.animation import FuncAnimation 
import threading

P = None
stream = None

def start():
    global P, stream
    P = pyaudio.PyAudio()
    stream = P.open(format=pyaudio.paInt16, channels=1, rate=44100, frames_per_buffer=8820, input=True, output=False)
    frame.after_idle(update)

def stop():
    global P, stream
    if stream:
        stream.stop_stream()
        stream.close()
    if P:
        P.terminate()
    P = stream = None


def update():
    if stream and stream.is_active():
        input = stream.read(8820, exception_on_overflow=False)
        ndarray = np.frombuffer(input, dtype='int16')
        ax.cla()
        ax.plot(ndarray)
        canvas.draw()
        frame.after(200, update)


root = tk.Tk()
root.title("abc")
root.geometry("800x700") #####　guiの用意

frame = tk.Frame(root) ##### frameの用意

fig = plt.figure()
ax = fig.add_subplot(1,1,1)

canvas = FigureCanvasTkAgg(fig, master=frame) ##### frameにcanvasを置く
canvas.draw() ##### canvasを書く？

canvas.get_tk_widget().pack() ##### canvasを配置
frame.grid(row=0, column=0, columnspan=10, rowspan=5, padx=10, pady=10) ##### frameを配置

startButton = tk.Button(root, text='Start', command=start)
startButton.grid(row=6, column=10, columnspan=1, rowspan=1, padx=10, pady=10)

stopButton = tk.Button(root, text='Stop', command=stop)
stopButton.grid(row=7, column=10, columnspan=1, rowspan=1, padx=10, pady=10)

root.mainloop()
stop()

Answer 2

いろいろと問題はあるが、ひとまずグラフの描画までができるプログラムを載せておきます。

import pyaudio
import tkinter as tk
import matplotlib.pyplot as plt
import numpy as np
from matplotlib.backends.backend_tkagg import FigureCanvasTkAgg
from matplotlib.animation import FuncAnimation 
import threading

def start():
    while stream.is_active():
        input = stream.read(8820, exception_on_overflow=False)
        ndarray = np.frombuffer(input, dtype='int16')
        ax.cla()
        ax.plot(ndarray)
        canvas.draw()
        frame.after(200)
    
def stop():
    stream.stop_stream()
    stream.close()
    P.terminate()

root = tk.Tk()
root.title("abc")
root.geometry("800x700") #####　guiの用意

frame = tk.Frame(root) ##### frameの用意

fig = plt.figure()
ax = fig.add_subplot(1,1,1)

canvas = FigureCanvasTkAgg(fig, master=frame) ##### frameにcanvasを置く
canvas.draw() ##### canvasを書く？

canvas.get_tk_widget().pack() ##### canvasを配置
frame.grid(row=0, column=0, columnspan=10, rowspan=5, padx=10, pady=10) ##### frameを配置

start = tk.Button(root, text='Start', command=start)
start.grid(row=6, column=10, columnspan=1, rowspan=1, padx=10, pady=10)

stop = tk.Button(root, text='Stop', command=stop)
stop.grid(row=7, column=10, columnspan=1, rowspan=1, padx=10, pady=10)

P = pyaudio.PyAudio()
stream = P.open(format=pyaudio.paInt16, channels=1, rate=44100, frames_per_buffer=8820, input=True, output=False)

root.mainloop()

Comments

[teamikl]

こちらをベースにした方が良さそうですね。

time.sleep については、恐らくノンブロッキングモードでの
オーディオデータの読み出しを参考にされたのだと思います、
今回は取り合えずブロッキングモードなので sleep 相当の事は不要です。

https://people.csail.mit.edu/hubert/pyaudio/docs/

while stream.is_active()～sleep は、
オーディオを読み出している間、
プログラムが終了しないように待機してるだけです。
gui のプログラムでは guiのイベントループがこれを担当します。
通常、ウィンドウが閉じられるまではプログラムは終了しません。

[chanpoo]

こちらをベースに書き換えてみます。

frame.after(200)ですが、canvas.draw()だけだと、canvasが白いままで
グラフの表示がされないため、plt.pause()と同様な意味で使用しているのですが、
なにか他にcanvasを表示する方法がありますでしょうか。

[teamikl]

ソースコードを投稿したので別の回答になりましたが、
after の使い方について書いたので、参考にして下さい。

キャンバスの表示については、
描画はデータを設定した時ではなくて、
関数が終わって mainloopへ処理が戻った時に描画の更新が行われます。
この場合、start関数はループを持っていて終了しない為、描画は行われません。

一応、キャンバスのupdate()を呼び出す事でも、この場合
canvas.get_tk_widget().update() で描画を更新できますが、
ループは使わず、タイマーを使う方法が推奨です。

[chanpoo]

ありがとうございます。

frame.after_idle(update) でmainloopに戻り、updateを呼び出し、
frame.after(200, update) で200msごとにupdateを呼び出しているので、
roopができているという認識で大丈夫でしょうか。

updateは処理している際でも、startやstopが操作可能になるということは、
updateは並列処理のようになっているのでしょうか。

何度もすみません。お時間ございましたらよろしくお願いします。

[teamikl]

最初の認識は、合ってます。その通り。

after_idle や after はコードの実行を止めずに、
mainloop 側から呼び出してもらうように予約します。

「並列処理」については、
恐らく言いたいことのニュアンスは解るのですが、
ここは違います。

一連の処理は 単一のスレッド上で動作します
mainloop内のループから -> start() -> mainloopに戻る -> 他のイベント

と「順番に」実行されます。タイマーへ登録した処理は見かけ上、
バックグラウンドで動作してるみたいに感じられるのだと思いますが、
これらの処理は直列です。

なので、start() 内で ループがあったり time.sleep() したりすと
処理が mainloop に戻らなくなり、結果他の gui のイベントが処理されず
ウィンドウが固まります（stopボタンを押せない状態がこれに該当）

[chanpoo]

直列処理だったんですね・・・。ようやく理解できました。

updateの処理中は、すでに、mainloopに戻っているので、
stopを受け付けることができるという感じなのですね。
いろいろと勉強になりました。

Answer 3

ソースコードはマークダウンを使って整形をお願いします。
今回は推測可能な範囲ではありますが、インデント情報が失われてしまいます。

---

問題点: 幾つかあります

• tkinterのレイアウト問題

Frame は生成されたものの、表示されれない状態なので、
配置用のメソッド(pack/grid/placeの何れか)を呼んでみてください。

frame.pack(fill=tk.BOTH, expand=True)

• 試してないので気になる点ですが、PyAudio の stream

PyAudio の stream を mainloop 前に閉じてますが、
継続して描画するなら、streamを維持する必要はないのでしょうか？(未テスト)

• FuncAnimation の 使い方

figure オブジェクトは plot メソッドを持ってません。

Comments

[chanpoo]

ご回答ありがとうございます。

ソースコード、整形いたしました。
ご教授いただいたように修正したのですが、あまりうまくいっておりません。
やりたいこととしては、上のgifをしたのcanvasに描画したいです。
figを更新する際は、frame、canvas共にunpackする必要があるのでしょうか。
よろしくお願いします。

[teamikl]

余分なコードが増えてませんか？

tkinter に表示したい場合は、 plt.show() 等は
tkinter のイベントループと競合する為使えません。
FigureCanvasTkAgg を使うサンプルを参考にして下さい。

[chanpoo]

試行錯誤しているうちに混在しておりました。

ありがとうございます。
少し背伸びしているようなので、guiはまたの機会にしてみます。

[teamikl]

gif ファイルがもし動画gifだとすると、(訂正 git -> gif)
tkinter ではアニメーション処理もタイマーを用いて自分で行う必要があります。
(teratail 内で以前回答した事があるので、サンプルコードは見つかると思います）

今提示されているコードは複数の問題が混在してるので、
まずは最初のコードをベースにして、
tkinter 上でのアニメーションを伴わないプロットから試してみましょう。

大元の問題は「Frameウィジェットが配置されていない」ですが、
update() も恐らく期待通りの処理になっていないので、
プロットを反映させるには修正が必要です。

pyaudio の後始末は、mainloop の後に書くと、
windowを閉じた後に処理されます。WM_DELETE_WINDOW も調べて見て下さい。

[chanpoo]

サンプルコードは見つけることができなかったですが、time.sllepを使うという認識で間違いないでしょうか。

アニメーションがない場合は、plotを書き換えるという感じでしょうか。

frame.grid(row=0, column=0, columnspan=10, rowspan=5, padx=10, pady=10)
でFrameウィジェットが配置をしているという認識なのですが、間違っていますでしょうか。

stopボタンを押した際に後始末をする予定で、放置しておりました。ご教授ありがとうございます。

[teamikl]

time.sleep は他の処理を停止してしまうので、
tkinter で使うと、sleep してる間 gui が固まってしまいます。
どのように使われるのか把握してませんが、多分違います。

オーディオの読込も同様に、ブロッキングモードで読み込む場合は
gui をフリーズさせてしまう可能性があるので、guiと一緒に使う場合は
スレッドを使ったり、ノンブロッキングモードで読み込んだりします。
この辺はまだ先になると思いますが。

tkinetr と使う場合、キャンバスの設置は今のコードでok 後は
plt.show() の代わりが tkinter の mainloop() になるだけで、
プロット自体は同じです。

ただし、今掲載されてるコードは、
編集された際に他の部分もおかしくなってるので
最初のコードから、機能は一つづつ動作確認しながら追加していった方が良いです。
「ボタンを押したときに開始」したいのだと思いますが、
今の click 関数は期待通りに動いてくれません。恐らく動作確認も出来てないはずです。

[teamikl]

＞~でFrameウィジェットが配置をしているという認識なのですが、間違っていますでしょうか

grid でも大丈夫です。

[chanpoo]

ご指導いただいたように、アニメーションを伴わないプロットでしたら問題なく動作できました。

しかし、startボタンを押してしまうと、stopを押せなくなってしまいます。
それを回避するために、threadingをいれたのですが、segmentation faultが出てしまいます。

よろしければこちらについてもご教授いただけないでしょうか。codeを貼りなおしております。
アニメーションについては現在修正中です。

[teamikl]

色々とまずい部分が増えていってるので、
（おそらく動作確認せずに書かれたコード、after等、使い方が間違ってます）
取り合えず、追加の機能は別トピックにして、
最初のコードに戻した方が良いです。

スレッドの導入などは、それなりにボリュームのあるトピックなので、
今の時点では気に留めておくくらいにして（TODOに書いておきましょう）

＞アニメーションを伴わないプロットでしたら問題なく動作できました。

確認ですが、これは plt.show() ではなく tkinter で、ですか？

[chanpoo]

別トピックにさせていただきます。
threadingをいれていない起動するコードは解決策に置いておくほうがよろしいでしょうか。
コードは戻しておきます。