PySimpleGUIでマルチスレッドを使い、音楽波形を表示しつつPNG画像を切り替え表示したい。

前提・実現したいこと

PySimpleGUIでマルチスレッドを使い、音楽波形を表示しつつPNG画像を切り替え表示したい。
下記参照URLを利用し作成しました。

参照

①PySimpleGUIを使用したmultithreadの作り方
②スペクトラム波形作成

③
著作権フリーwavは、こちらのwavを使っています。
④ボタンによる画像選択表示の参照コードサンプル

該当のソースコード

#------------myimgviewer.py-------------------------
import PySimpleGUI as sg
from PIL import Image, ImageTk
import io
import sys
import pyautogui
import time
# import os

flag_status = 0
img_types = (".png", ".jpg", "jpeg", ".tiff", ".bmp")
 
status_text = ''
fname = None
if not len(sys.argv) == 1:
    fname = sys.argv[1]
# print('a')
# print(fname)
if fname:
    if not fname.lower().endswith(img_types):
        sg.popup("Cancel", fname + " is Not image file")
        raise SystemExit("Canceling: Not image file")
 
 
def get_img_data(f, maxsize=(1200, 850), first=False):
    """Generate image data using PIL."""
    global status_text
    im = Image.open(f)
    status_text = "%d x %d" % im.size  # original image size
    im.thumbnail(maxsize)
    status_text += " (%d x %d)" % im.size  # thumbnail image size
    if first:
        bio = io.BytesIO()
        im.save(bio, format="PNG")
        del im
        return bio.getvalue()
    return ImageTk.PhotoImage(im)
 
 
# layout
firstfg = True

if fname:
    print('b')
    image_elem = sg.Image(data=get_img_data(fname, first=firstfg))
    fname_elem = sg.InputText(size=(80, 1), enable_events=True,
                              default_text=fname)
    firstfg = False
else:
    print('c')
    image_elem = sg.Image()
    fname_elem = sg.InputText(size=(80, 1), enable_events=True)
status_elem = sg.Text(key='-STATUS-', size=(64, 1))
#-------------myimgviewer.py---------------------------------------------

#-------------wave_spect.py----------------------------------------
#!/usr/bin/env python3
import wave
import sys
import pygame
from pygame.locals import *
import scipy.fftpack as spfft
import soundfile as sf
import pyaudio
import numpy as np
import pdb
# --------------------------------------------------------------------
# パラメータ
# --------------------
fn = "futta-fly.wav"
# 計算用
CHUNK = 1024  # pyaudioでストリームにチャンク単位で出力(何故1024かはよく知らない)
start = 0  # サンプリング開始位置
N = 1024  # FFTのサンプル数
SHIFT = 1024  # 窓関数をずらすサンプル数
hammingWindow = np.hamming(N)  # 窓関数
t = 0
# --------------------
# 描画用
SCREEN_SIZE = (854, 480)  # ディスプレイのサイズ
rectangle_list = []

# --------------------
# pygame画面初期設定
pygame.init()
screen = pygame.display.set_mode(SCREEN_SIZE)
pygame.display.set_caption("Pygame Audio Visualizer")
#-------------wave_spect.py----------------------------------------






from queue import Queue
from threading import Thread
import time

import PySimpleGUI as sg

ui_que = Queue()
data_que = Queue()

def show_time():
    jikan = time.strftime('%p %I:%M:%S')
    return jikan

def worker(data_que,ui_que):
    result = data_que.get()
    time.sleep(1)
    ui_que.put(result[0])

def worker_do(data_que,ui_que):
    result_do = data_que.get()
    time.sleep(0.5)
    ui_que.put(len(result_do))


sg.theme('Dark')
layout = [
          [fname_elem, sg.FileBrowse(key='-FILENAME-')],
          [status_elem],
          [sg.Text(size=(15, 1), font=('Helvetica', 20),justification='center', key='-jikan-')],
          [sg.Text('Data', size=(8, 1)),sg.Input(key='-data-')],
          [sg.Submit(), sg.Button('DO',key='-do-'), sg.Cancel()],
          [image_elem],
          [sg.Text('Data2', size=(8, 1)),sg.Input(key='-data2-')],
          [sg.Text('Status:', size=(8, 1)),sg.Text('',size=(8,1), key='-status-')],
          [sg.Output(size=(70, 2))]
          ]

window = sg.Window('template',layout)

# 「FFTかけて描画」を繰り返す．
def redraw():
    global start
    global screen
    global rectangle_list

    # --------------------
    # 対象サンプル点のブロックにFFTをかけて振幅スペクトルを計算する
    windowedData = hammingWindow * x[start:start + N]  # 窓関数をかけたデータブロック
    X = spfft.fft(windowedData)  # FFT
    amplitudeSpectrum = [np.sqrt(c.real ** 2 + c.imag ** 2)
                        for c in X]  # 振幅スペクトル

    # --------------------
    # Pygameでの描画

    screen.fill((240, 128, 128))  # 好きな色で初期化する
    
    rectangle_list.clear()  # 四角形リスト初期化
    
    # スペクトル描画 数値は実行して調整しながら
    for i in range(86):
        rectangle_list.append(pygame.draw.line(screen, (102, 205, 170), (1+i * 10, 350 + amplitudeSpectrum[i].astype(int) * 10),
                                            (1+i * 10, 350 - amplitudeSpectrum[i].astype(int) * 10), 4))

    # ディスプレイ更新
    pygame.display.flip()

    start += SHIFT  # 窓関数をかける範囲をずらす
    if start + N > nframes:
        sys.exit()

    for event in pygame.event.get():  # 終了処理
        if event.type == QUIT:
            sys.exit()
        if event.type == KEYDOWN:
            if event.key == K_ESCAPE:
                sys.exit()

# wavデータを取得
data, fs = sf.read(fn)  # dataの形状は(フレーム数×チャンネル数)
if data.ndim == 1:
    x = data  # モノラルならそのまま使う
if data.ndim == 2:
    x = data[:, 0]  # ステレオならLチャンネルだけに絞って処理することに(Rなら0を1にしてください)

nframes = x.size  # フレーム数取得(FFTで窓関数をずらすときの終了条件に使います)

# --------------------
# 再生と描画を開始
filename = fn
wf = wave.open(filename, "r")


# ストリームを開く
p = pyaudio.PyAudio()
stream = p.open(format=p.get_format_from_width(wf.getsampwidth()),
                channels=wf.getnchannels(),
                rate=wf.getframerate(),
                output=True)

# 音声を再生
data = wf.readframes(CHUNK)
# while data != '':


#--------wave_spect.py-------------------------------
while True:

    # wave_spect.py---------α
    stream.write(data)
    data = wf.readframes(CHUNK)
    redraw()
    # wave_spect.py---------

    event, values = window.read(timeout=100,timeout_key='-timeout-')
    # event, values = window.read()
    #timeoutを指定することで、timeoutイベントが起こります。timeoutの単位ms
    # print(event,values)
    #↑コメントアウトを外すと、どんなイベントが起こっているか確かめることができます。
    if event in (None,'Cancel'):
        #--------myimgviewer.py------------------------------
        fname = 'C:\work\music\f3.png'
        image_elem.update(data=get_img_data(fname, first=firstfg))
        print(fname)
        fname_elem.update(fname)
        status_elem.update(status_text)
        firstfg = False
        #--------myimgviewer.py------------------------------

   

    elif event in 'Submit':
        print('Input data: {}'.format(values['-data-']))
        # デーモンスレッドはデーモンスレッド以外のスレッドがなくなった時点で全て自動終了する
        thread = Thread(target=worker, args=(data_que,ui_que), daemon=True).start()
        data_que.put(values['-data-'])

        #--------myimgviewer.py------------------------------
        fname = 'C:\work\music\f1.png'
        image_elem.update(data=get_img_data(fname, first=firstfg))
        print(fname)
        fname_elem.update(fname)
        status_elem.update(status_text)
        firstfg = False
        #--------myimgviewer.py------------------------------

 

    elif event in '-do-':
        print('do somthing: {}'.format(values['-data2-']))
        thread_do = Thread(target=worker_do, args=(data_que,ui_que), daemon=True).start()
        data_que.put(values['-data2-'])

        #--------myimgviewer.py------------------------------
        fname = 'C:\work\music\f2.png'
        image_elem.update(data=get_img_data(fname, first=firstfg))
        print(fname)
        fname_elem.update(fname)
        status_elem.update(status_text)
        firstfg = False
        #--------myimgviewer.py------------------------------

    elif event in '-timeout-':
        jikan = show_time()
        window['-jikan-'].update(jikan)


        try:
            ui_data=ui_que.get_nowait()
        except :
            ui_data = None
        if ui_data:
            print(ui_data)   
            window['-status-'].update(ui_data)

stream.close()
p.terminate()
window.close()

発生している問題・エラーメッセージ

コードのαと記載した3行を今の配置した場所ですと、音楽がカクカクに再生されてしまっています。
Cancel（名前変えずおかしくてすみません。）イベントに移しても再生されず、音楽再生と画像ボタン表示が同時に実行できませんでした。

試したこと

αの場所を変えることは効果がありませんでした。
本来の目的は波形を同じ画面内に小さくして表示したいのですが、それはいったんおいておき、同時に再生と表示をしようとwhileを別にするなど試しましたが、そもそも片方だけループしてしまいだめでした。

どのようにすれば同時実行が可能になるでしょうか。アドバイスどなたか頂けないでしょうか。
よろしくお願いいたします。

補足情報（FW/ツールのバージョンなど）

windows10
PySimpleGUI
Python3.8.8

アドバイス直後に実装したコード①

先ほどこちらにコード記載したところ18000文字となってしまい8000文字オーバーになってしまいました。
コメントに記載してみます。

multiprocessingが簡易なのではとコーディングしましたが、音楽は流れて波形も表示されていますが、画像表示のボタンを押した際にフリーズになってしまいました。

アドバイス頂いた直後に実践したコード

python
1# 先頭に
2# ファイルの先頭で
3import logging
4logger = logging.getLogger(__name__)
5
6# ログにスレッド名を表示＆ロギングを有効にする設定
7# if __name__ == "__main__": 内に置きたいが、なければファイル先頭でもok
8logging.basicConfig(level=logging.DEBUG, format="[%(threadName)-10s][%(levelname)-8s] %(message)s")
9
10# logger モジュールは、スレッドセーフなので、どこからでも安全に呼び出せます。
11# print の代わりに利用  logger.info, logger.debug, logger.error, 等
12fn = "futta-fly.wav"
13logger.debug(f"debug message: {fn=}") #  f-string で変数 fn を表示
14
15#～略～
16
17def play_audio():
18    # TODO: リソース作成・解放はスレッド側で完結する
19    wf = wave.open(filename, "r")
20    # ストリームを開く
21    p = pyaudio.PyAudio()
22    stream = p.open(format=p.get_format_from_width(wf.getsampwidth()),
23                    channels=wf.getnchannels(),
24                    rate=wf.getframerate(),
25                    output=True)
26
27    # 音声を再生
28    data = wf.readframes(CHUNK)
29    while True:
30        stream.write(data)
31        redraw()
32
33    elif event in '-do-':
34        # ボタンを押した時に開始
35        thread = threading.Thread(target=play_audio, args=(data_que,ui_que), daemon=True)
36        thread.start()

doボタンを押下しても下記コンソールのみですぐウィンドウが閉じてしまいました。

行動規範の内容に同意します

回答2件

ベストアンサー

問題点: スレッドが~~正しく使えてません~~ 用途に合った使い方になってません

python
1while True:
2
3    # 音楽再生の為には、ここを定期的に呼び出す必要がある
4    stream.write(data)
5    data = wf.readframes(CHUNK)
6
7    # 何も操作しなければ、100ms 毎に動きます → 最大 100ms 間、音楽再生をブロックする
8    event, values = window.read(timeout=100,timeout_key='-timeout-')
9

解決策: オーディオ再生を別スレッドで実行する (提示のコードは方針のみ）

python
1def play_audio():
2    # TODO: リソース作成・解放はスレッド側で完結する
3
4    stream = p.open(...)
5
6    while True:
7        data = wf.readframes(CHUNK)
8        stream.write(data)
9
10        # TODO: 再生速度を考慮するなら、ここでqueue にいれて、
11        # queue の読み出しも定期的に実行されるようにする。
12
13
14# ボタンを押した時に開始
15thread = threading.Thread(target=play_audio, args=(), daemon=True)
16thread.start()

もうひとつ気を付けなければいけない点は、
PySimpleGUI(内部ではtkinter) と pygame を同時に使おうとしてます。

これらのライブラリはイベントループを自分で書く利用法が主なので、
同時利用自体は可能なのですが、注意が必要な点は、
双方のイベントループを止めないように配慮しないと、片方が応答なしになってしまいます。

追記: コードの全貌をまだ把握しきれてないので、読みながら判明した点を追記します。

問題点: スレッドの使い方が、ボタンを押したときにスレッド生成、
スレッド内ではキューへの出し入れしか仕事をしていない。

確認方法: logging モジュールを使い、関数がどのスレッドで実行されているかを表示する。

python
1# ファイルの先頭で
2import logging
3logger = logging.getLogger(__name__)
4
5# ログにスレッド名を表示＆ロギングを有効にする設定
6# if __name__ == "__main__": 内に置きたいが、なければファイル先頭でもok
7logging.basicConfig(level=logging.DEBUG, format="[%(threadName)-10s][%(levelname)-8s] %(message)s")
8
9# logging モジュールは、スレッドセーフなので、どこからでも安全に呼び出せます。
10# print の代わりに利用  logger.info, logger.debug, logger.error, 等
11logger.debug(f"debug message: {fn=}") #  f-string で変数 fn を表示
12
13
14# ※ multiprocessing 利用があったので追記
15# マルチ「プロセス」の場合は、この設定では不十分で、
16# 追加でプロセス間のキューを用いた設定・構成が必要になります。

スレッドは、解りやすくリソース毎に割り当てるなら

音楽再生スレッド(portaudio)
波形プロットのスレッド(pygame?)
メインスレッド(PySimpleGUI)

とします。
必要なキューは、GUI -> 音楽再生停止の制御と、wavデータ読み出し→波形プロット

メイン: pygame+PySimpleGUI <=> サブスレッド: portaudio にする方法もありますが、
分離した方が、バックエンドを別のライブラリに差し替え等といった時に都合の良い設計になります。

スレッドの解りやすい使い方は、
ボタンを押したときに毎回生成ではなく、スレッドは予め稼働させておいて
ボタンを押したときに動き出すように、queue や threading.Eevnt 等で制御します。
メインスレッド終了時に、スレッドは正しく終了させるように構成する。
（スレッド内でのループやブロック処理は抜けるように。→リソース解放処理を確実に呼び出す）

pygame をメインスレッド以外で使えるかは、試してないので解りませんが、
使えない場合はメインスレッドの利用をPySimpleGUI と入れ替え。

GUIライブラリではメインスレッドでしか使えない制限がある事があります。
(正確には、初期化したスレッドと同じスレッド内でないと誤動作の原因に）

基本は、ウィンドウを閉じた時に終了したい場合が多いので、
GUI をメインスレッドにした方が都合が問いのですが
PySimpleGUI 内で使われている tkinter は別スレッドでも大丈夫です。

投稿2021/06/26 10:08

編集2021/06/27 05:18

teamikl

総合スコア8760

dendenmushi

2021/06/26 11:00

回答頂きありがとうございます。まずは実践してみます。

dendenmushi

2021/06/26 12:10

順番がまだおかしいためかメソッドを別にして実行したのですが反応しませんでした。pygameが関連している可能性あるのかわかりませんがもう少し熟読し実践してみます。

dendenmushi

2021/06/26 14:29

なんとか理想に近づけました。回答ありがとうございました。

teamikl

2021/06/26 15:05 編集

丁度今日、複数のイベントループを同時実行するライブラリを作ってたので、 PySimpleGUI + pygame の同時実行も、タイムリーに関心のあるトピックだったりします。後日で良ければ、もう少し情報出せます。デバッグのヒントを出しておくと、このようなイベントループを元に動くプログラムは「イベント駆動」と呼ばれ、正常に稼働させるには、イベント処理が継続的に呼ばれるのが前提となってます。反応がないというのは、イベント処理をする部分が定期的に呼ばれていない為に発生します。原因は、一般的には、何処かで時間の掛かる処理・ブロックする処理が発生して止まっている為、ログを出力して止まっている部分を調べます。以下の点がそれぞれの要所です。いずれかの実行が滞ると応答なしや音声が途切れるに繋がります。 - pysimplegui のイベント処理: window.read(timeout=100,timeout_key='-timeout-') - pygame のイベント処理: pygame.event.get() - portaudio の音声再生処理: readframes と stream.write 　portaudioはイベントループではありませんが、ここも同様にループ処理内で　音声再生をする為に継続的に呼び出す必要がある部分。これらの処理の前後でログを出力して、それぞれのイベントループが正常に稼働してるのを確認して見て下さい。

teamikl

2021/06/26 16:15

ちなみに上記の中で、ブロッキングが発生するのは、window.read() 「内部」のイベントループで、 timeout なしだとイベントがあるまで待機、timeout ミリ秒経過まで待機し timeout イベント、といった挙動で、その間は他の処理を止めてしまいます。（全て同一スレッドで実行の場合）解決策の案は、 A) それぞれを別のスレッドにする。← 率直に実装するなら、この方法が推奨 B) ノンブロッキングな独自のイベントループを構築する。← 私が今取り組んでる方法。情報は少ないです。 C) timeout間隔を短くする。数値を少なくするだけなので、変更は容易ですが多分想定された使われ方ではないので、あまり良い方法ではないかもしれません。

teamikl

2021/06/26 16:35

＞logger.debug(f"debug message: {fn=}") # f-string で変数 fn を表示このコードは、スレッドで実行されるコードの中で使って、その関数が意図通りにスレッド実行されているのを確認します。 {fn=} の部分は、変数を表示する時の例。メッセージは何でも構いません。 # ボタンを押した時に開始～のコードはPySimpleGUI のボタンクリック時を想定です。 readframes は、while ループ内に入れないと、毎ループ同じチャンクを送り続けます。

dendenmushi

2021/06/27 00:41 編集

追加回答ありがとうございます。非常に勉強になり感謝しております。かなり奥深いことわかりました。こちらの系統で悩んでる部分がまたありましたらその際はよろしくお願いいたします。

teamikl

2021/06/27 05:17

スレッドの使い方について、元のコードの使い方はボタンを押した時に、バックグラウンドで時間の掛かる処理 → 終ってから結果を受け取るという使い方で、「正しくない」というよりは「用途に合ってない」といった方が適切でした。語弊があるだったので訂正しておきます。補足: 上記C案は、 PySimpleGUI をノンブロッキングで扱う為の方法として、timeout を短くするという案ですが、直面している問題であるブロッキングは回避できても、他で不都合がでる可能性があります。ここは、実際に試して幾つか懸念事項がありました。 ---- まとめると、最初のコードは GUI/音声再生/波形プロットの３つの処理を、一つのループで行おうとしてました。問題個所は、GUI の window.read(timeout=100, ...) による、一時的なブロッキング処理。 → 一つのスレッド内なので、ブロッキングが発生すると、他の処理が滞る構造。解決策は、結論としては、PySimpleGUI と他処理のスレッドを別ける。回答としては、設計寄り・方針のみでしたが、参考になったようで良かったです。

teamikl

2021/06/29 08:45

訂正: portaudio -> ライブラリ名は pyaudio (バックエンドがportaudio) 追加情報で、pyaudio にノンブロッキング版のAPI もあったので、別解としては、start_stream/callback でwavを読み込む解決策もありました。（注意点: callbackは別スレッドで実行されるので、　プロット描画にはqueue等によるスレッド間通信が必要）

dendenmushi

2021/07/17 12:29

teamiklさんすみません久しぶりにteratail開いて今気付きました。追加情報ありがとうございました。queue等によるスレッド間通信暫くしましたら挑戦いたします。

行動規範の内容に同意します

Cpython(多くの人が使っていてPythonと呼んでいるもの)は、グローバルインタプリタロックのために、そうなります。

これを回避するためにはPypyなどの別のPythonを使うか、さもなければmultiprocessingモジュールを使いましょう。

投稿2021/06/26 07:31

ppaul

総合スコア24670

teamikl

2021/06/26 10:12 編集

GIL(グローバルインタプリタロック) ではなく、イベントループによるブロック処理なので、今の段階では考えなくても大丈夫です。 GILの回避は、スレッドでは処理が追い付かないような時に検討します。現状では、スレッドの使い方自体に改善の余地があり。

dendenmushi

2021/06/26 10:57

回答ありがとうございました。以下コード記載しました。本文は8000文字オーバーになってしまいました。 ```python #----myimgviewer.py---------------------------------- import PySimpleGUI as sg from PIL import Image, ImageTk import io import sys import pyautogui import time # import os flag_status = 0 img_types = (".png", ".jpg", "jpeg", ".tiff", ".bmp") status_text = '' fname = None if not len(sys.argv) == 1: fname = sys.argv[1] # print('a') # print(fname) if fname: if not fname.lower().endswith(img_types): sg.popup("Cancel", fname + " is Not image file") raise SystemExit("Canceling: Not image file") def get_img_data(f, maxsize=(1200, 850), first=False): """Generate image data using PIL.""" global status_text im = Image.open(f) status_text = "%d x %d" % im.size # original image size im.thumbnail(maxsize) status_text += " (%d x %d)" % im.size # thumbnail image size if first: bio = io.BytesIO() im.save(bio, format="PNG") del im return bio.getvalue() return ImageTk.PhotoImage(im) # layout firstfg = True if fname: print('b') image_elem = sg.Image(data=get_img_data(fname, first=firstfg)) fname_elem = sg.InputText(size=(80, 1), enable_events=True, default_text=fname) firstfg = False else: print('c') image_elem = sg.Image() fname_elem = sg.InputText(size=(80, 1), enable_events=True) status_elem = sg.Text(key='-STATUS-', size=(64, 1)) #----myimgviewer.py---------------------------------- #------------myimgviewer.py------------------------- import PySimpleGUI as sg from PIL import Image, ImageTk import io import sys import pyautogui import time # import os flag_status = 0 img_types = (".png", ".jpg", "jpeg", ".tiff", ".bmp") status_text = '' fname = None if not len(sys.argv) == 1: fname = sys.argv[1] # print('a') # print(fname) if fname: if not fname.lower().endswith(img_types): sg.popup("Cancel", fname + " is Not image file") raise SystemExit("Canceling: Not image file") def get_img_data(f, maxsize=(1200, 850), first=False): """Generate image data using PIL.""" global status_text im = Image.open(f) status_text = "%d x %d" % im.size # original image size im.thumbnail(maxsize) status_text += " (%d x %d)" % im.size # thumbnail image size if first: bio = io.BytesIO() im.save(bio, format="PNG") del im return bio.getvalue() return ImageTk.PhotoImage(im) # layout firstfg = True if fname: print('b') image_elem = sg.Image(data=get_img_data(fname, first=firstfg)) fname_elem = sg.InputText(size=(80, 1), enable_events=True, default_text=fname) firstfg = False else: print('c') image_elem = sg.Image() fname_elem = sg.InputText(size=(80, 1), enable_events=True) status_elem = sg.Text(key='-STATUS-', size=(64, 1)) layout = [ [fname_elem, sg.FileBrowse(key='-FILENAME-')], [status_elem], # ボタンレイアウト [ sg.Submit(button_text='ボタン(1)', font=('yu Gothic UI',8),size=(15,1),key='button1'), sg.Submit(button_text='ボタン(2)', font=('yu Gothic UI',8),size=(15,1),key='button2'), sg.Submit(button_text='ボタン(3)', font=('yu Gothic UI',8),size=(15,1),key='button3') ], # テキストレイアウト [ sg.Text(' ● 押したボタンを判定します。', font=('yu Gothic UI',8),key='text1')], [image_elem] ] # create window window = sg.Window('Image Viewer', layout, return_keyboard_events=True, location=(0, 0), use_default_focus=False) #-------------myimgviewer.py--------------------------------------------- #-------------wave_spect.py---------------------------------------- #!/usr/bin/env python3 import wave import sys import pygame from pygame.locals import * import scipy.fftpack as spfft import soundfile as sf import pyaudio import numpy as np import pdb # -------------------------------------------------------------------- # パラメータ # -------------------- #fn = "yasasi_output.wav" #fn = "output.wav" fn = "aoa2.wav" # 計算用 CHUNK = 1024 # pyaudioでストリームにチャンク単位で出力(何故1024かはよく知らない) start = 0 # サンプリング開始位置 N = 1024 # FFTのサンプル数 SHIFT = 1024 # 窓関数をずらすサンプル数 hammingWindow = np.hamming(N) # 窓関数 t = 0 # -------------------- # 描画用 SCREEN_SIZE = (854, 480) # ディスプレイのサイズ rectangle_list = [] # -------------------- # pygame画面初期設定 pygame.init() screen = pygame.display.set_mode(SCREEN_SIZE) pygame.display.set_caption("Pygame Audio Visualizer") #-------------wave_spect.py---------------------------------------- import time from multiprocessing import Pool, Process def nijou1(inputs): # -------------------------------------------------------------------- # wavファイルを再生しつつ、後に定義する再描画関数redraw()を呼び出す関数 def play_wav_file(filename): try: wf = wave.open(filename, "r") except FileNotFoundError: # ファイルが存在しなかった場合 print("[Error 404] No such file or directory: " + filename) return 0 # ストリームを開く p = pyaudio.PyAudio() stream = p.open(format=p.get_format_from_width(wf.getsampwidth()), channels=wf.getnchannels(), rate=wf.getframerate(), output=True) # 音声を再生 data = wf.readframes(CHUNK) while data != '': stream.write(data) data = wf.readframes(CHUNK) redraw() stream.close() p.terminate() # -------------------------------------------------------------------- # 「FFTかけて描画」を繰り返す． def redraw(): global start global screen global rectangle_list # -------------------- # 対象サンプル点のブロックにFFTをかけて振幅スペクトルを計算する windowedData = hammingWindow * x[start:start + N] # 窓関数をかけたデータブロック X = spfft.fft(windowedData) # FFT amplitudeSpectrum = [np.sqrt(c.real ** 2 + c.imag ** 2) for c in X] # 振幅スペクトル # -------------------- # Pygameでの描画 screen.fill((240, 128, 128)) # 好きな色で初期化する rectangle_list.clear() # 四角形リスト初期化 # スペクトル描画数値は実行して調整しながら for i in range(86): rectangle_list.append(pygame.draw.line(screen, (102, 205, 170), (1+i * 10, 350 + amplitudeSpectrum[i].astype(int) * 10), (1+i * 10, 350 - amplitudeSpectrum[i].astype(int) * 10), 4)) # ディスプレイ更新 pygame.display.flip() start += SHIFT # 窓関数をかける範囲をずらす if start + N > nframes: sys.exit() for event in pygame.event.get(): # 終了処理 if event.type == QUIT: sys.exit() if event.type == KEYDOWN: if event.key == K_ESCAPE: sys.exit() # -------------------------------------------------------------------- # -------------------- # wavデータを取得 data, fs = sf.read(fn) # dataの形状は(フレーム数×チャンネル数) if data.ndim == 1: x = data # モノラルならそのまま使う if data.ndim == 2: x = data[:, 0] # ステレオならLチャンネルだけに絞って処理することに(Rなら0を1にしてください) nframes = x.size # フレーム数取得(FFTで窓関数をずらすときの終了条件に使います) # -------------------- # 再生と描画を開始 play_wav_file(fn) def nijou2(inputs): # event loop while True: event, values = window.read() if event is None: break if event == "button1": #ボタン(1)で実行させたい処理 window['text1'].update(' ● ボタン(1)を押しました。',text_color=("#ff0000")) print('flag_status 1') fname = 'C:\work\music\f1.png' image_elem.update(data=get_img_data(fname, first=firstfg)) print(fname) fname_elem.update(fname) status_elem.update(status_text) firstfg = False if event == "button2": #ボタン(2)で実行させたい処理 window['text1'].update(' ● ボタン(2)を押しました。',text_color=("#00ff00")) print('flag_status 2') fname = 'C:\work\music\f2.png' image_elem.update(data=get_img_data(fname, first=firstfg)) print(fname) fname_elem.update(fname) status_elem.update(status_text) firstfg = False if event == "button3": #ボタン(3)で実行させたい処理 window['text1'].update(' ● ボタン(3)を押しました。',text_color=("#0000ff")) print('flag_status 3') fname = 'C:\work\music\f3.png' image_elem.update(data=get_img_data(fname, first=firstfg)) print(fname) fname_elem.update(fname) status_elem.update(status_text) firstfg = False if event in (None, 'Exit'): print('d') break window.close() if __name__ == "__main__": # Pool()を定義 p = Pool() # プロセスを2つ非同期で実行 result = p.apply_async(nijou1, args=[3]) result2 = p.apply_async(nijou2, args=[5]) # 1秒間隔で終了チェックして終了したら結果を表示 for k in range(5): if result.ready(): break print(result.get()) print(result2.get()) p.close() ``` 本文のとおり、音楽再生のみであとは画像クリック後にフリーズでした。