質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.45%
マルチスレッド

マルチスレッドは、どのように機能がコンピュータによって実行したのかを、(一般的にはスレッドとして参照される)実行の複合的な共同作用するストリームへ区分することが出来ます。

ループ

ループとは、プログラミングにおいて、条件に合致している間、複数回繰り返し実行される箇所や、その制御構造を指します

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

2回答

4096閲覧

PySimpleGUIでマルチスレッドを使い、音楽波形を表示しつつPNG画像を切り替え表示したい。

dendenmushi

総合スコア98

マルチスレッド

マルチスレッドは、どのように機能がコンピュータによって実行したのかを、(一般的にはスレッドとして参照される)実行の複合的な共同作用するストリームへ区分することが出来ます。

ループ

ループとは、プログラミングにおいて、条件に合致している間、複数回繰り返し実行される箇所や、その制御構造を指します

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

1クリップ

投稿2021/06/26 07:13

編集2021/06/26 11:40

前提・実現したいこと

PySimpleGUIでマルチスレッドを使い、音楽波形を表示しつつPNG画像を切り替え表示したい。
下記参照URLを利用し作成しました。

参照

PySimpleGUIを使用したmultithreadの作り方
スペクトラム波形作成


著作権フリーwav
は、こちらのwavを使っています。
ボタンによる画像選択表示の参照コードサンプル

該当のソースコード

#------------myimgviewer.py------------------------- import PySimpleGUI as sg from PIL import Image, ImageTk import io import sys import pyautogui import time # import os flag_status = 0 img_types = (".png", ".jpg", "jpeg", ".tiff", ".bmp") status_text = '' fname = None if not len(sys.argv) == 1: fname = sys.argv[1] # print('a') # print(fname) if fname: if not fname.lower().endswith(img_types): sg.popup("Cancel", fname + " is Not image file") raise SystemExit("Canceling: Not image file") def get_img_data(f, maxsize=(1200, 850), first=False): """Generate image data using PIL.""" global status_text im = Image.open(f) status_text = "%d x %d" % im.size # original image size im.thumbnail(maxsize) status_text += " (%d x %d)" % im.size # thumbnail image size if first: bio = io.BytesIO() im.save(bio, format="PNG") del im return bio.getvalue() return ImageTk.PhotoImage(im) # layout firstfg = True if fname: print('b') image_elem = sg.Image(data=get_img_data(fname, first=firstfg)) fname_elem = sg.InputText(size=(80, 1), enable_events=True, default_text=fname) firstfg = False else: print('c') image_elem = sg.Image() fname_elem = sg.InputText(size=(80, 1), enable_events=True) status_elem = sg.Text(key='-STATUS-', size=(64, 1)) #-------------myimgviewer.py--------------------------------------------- #-------------wave_spect.py---------------------------------------- #!/usr/bin/env python3 import wave import sys import pygame from pygame.locals import * import scipy.fftpack as spfft import soundfile as sf import pyaudio import numpy as np import pdb # -------------------------------------------------------------------- # パラメータ # -------------------- fn = "futta-fly.wav" # 計算用 CHUNK = 1024 # pyaudioでストリームにチャンク単位で出力(何故1024かはよく知らない) start = 0 # サンプリング開始位置 N = 1024 # FFTのサンプル数 SHIFT = 1024 # 窓関数をずらすサンプル数 hammingWindow = np.hamming(N) # 窓関数 t = 0 # -------------------- # 描画用 SCREEN_SIZE = (854, 480) # ディスプレイのサイズ rectangle_list = [] # -------------------- # pygame画面初期設定 pygame.init() screen = pygame.display.set_mode(SCREEN_SIZE) pygame.display.set_caption("Pygame Audio Visualizer") #-------------wave_spect.py---------------------------------------- from queue import Queue from threading import Thread import time import PySimpleGUI as sg ui_que = Queue() data_que = Queue() def show_time(): jikan = time.strftime('%p %I:%M:%S') return jikan def worker(data_que,ui_que): result = data_que.get() time.sleep(1) ui_que.put(result[0]) def worker_do(data_que,ui_que): result_do = data_que.get() time.sleep(0.5) ui_que.put(len(result_do)) sg.theme('Dark') layout = [ [fname_elem, sg.FileBrowse(key='-FILENAME-')], [status_elem], [sg.Text(size=(15, 1), font=('Helvetica', 20),justification='center', key='-jikan-')], [sg.Text('Data', size=(8, 1)),sg.Input(key='-data-')], [sg.Submit(), sg.Button('DO',key='-do-'), sg.Cancel()], [image_elem], [sg.Text('Data2', size=(8, 1)),sg.Input(key='-data2-')], [sg.Text('Status:', size=(8, 1)),sg.Text('',size=(8,1), key='-status-')], [sg.Output(size=(70, 2))] ] window = sg.Window('template',layout) # 「FFTかけて描画」を繰り返す. def redraw(): global start global screen global rectangle_list # -------------------- # 対象サンプル点のブロックにFFTをかけて振幅スペクトルを計算する windowedData = hammingWindow * x[start:start + N] # 窓関数をかけたデータブロック X = spfft.fft(windowedData) # FFT amplitudeSpectrum = [np.sqrt(c.real ** 2 + c.imag ** 2) for c in X] # 振幅スペクトル # -------------------- # Pygameでの描画 screen.fill((240, 128, 128)) # 好きな色で初期化する rectangle_list.clear() # 四角形リスト初期化 # スペクトル描画 数値は実行して調整しながら for i in range(86): rectangle_list.append(pygame.draw.line(screen, (102, 205, 170), (1+i * 10, 350 + amplitudeSpectrum[i].astype(int) * 10), (1+i * 10, 350 - amplitudeSpectrum[i].astype(int) * 10), 4)) # ディスプレイ更新 pygame.display.flip() start += SHIFT # 窓関数をかける範囲をずらす if start + N > nframes: sys.exit() for event in pygame.event.get(): # 終了処理 if event.type == QUIT: sys.exit() if event.type == KEYDOWN: if event.key == K_ESCAPE: sys.exit() # wavデータを取得 data, fs = sf.read(fn) # dataの形状は(フレーム数×チャンネル数) if data.ndim == 1: x = data # モノラルならそのまま使う if data.ndim == 2: x = data[:, 0] # ステレオならLチャンネルだけに絞って処理することに(Rなら0を1にしてください) nframes = x.size # フレーム数取得(FFTで窓関数をずらすときの終了条件に使います) # -------------------- # 再生と描画を開始 filename = fn wf = wave.open(filename, "r") # ストリームを開く p = pyaudio.PyAudio() stream = p.open(format=p.get_format_from_width(wf.getsampwidth()), channels=wf.getnchannels(), rate=wf.getframerate(), output=True) # 音声を再生 data = wf.readframes(CHUNK) # while data != '': #--------wave_spect.py------------------------------- while True: # wave_spect.py---------α stream.write(data) data = wf.readframes(CHUNK) redraw() # wave_spect.py--------- event, values = window.read(timeout=100,timeout_key='-timeout-') # event, values = window.read() #timeoutを指定することで、timeoutイベントが起こります。timeoutの単位ms # print(event,values) #↑コメントアウトを外すと、どんなイベントが起こっているか確かめることができます。 if event in (None,'Cancel'): #--------myimgviewer.py------------------------------ fname = 'C:\work\music\f3.png' image_elem.update(data=get_img_data(fname, first=firstfg)) print(fname) fname_elem.update(fname) status_elem.update(status_text) firstfg = False #--------myimgviewer.py------------------------------ elif event in 'Submit': print('Input data: {}'.format(values['-data-'])) # デーモンスレッドはデーモンスレッド以外のスレッドがなくなった時点で全て自動終了する thread = Thread(target=worker, args=(data_que,ui_que), daemon=True).start() data_que.put(values['-data-']) #--------myimgviewer.py------------------------------ fname = 'C:\work\music\f1.png' image_elem.update(data=get_img_data(fname, first=firstfg)) print(fname) fname_elem.update(fname) status_elem.update(status_text) firstfg = False #--------myimgviewer.py------------------------------ elif event in '-do-': print('do somthing: {}'.format(values['-data2-'])) thread_do = Thread(target=worker_do, args=(data_que,ui_que), daemon=True).start() data_que.put(values['-data2-']) #--------myimgviewer.py------------------------------ fname = 'C:\work\music\f2.png' image_elem.update(data=get_img_data(fname, first=firstfg)) print(fname) fname_elem.update(fname) status_elem.update(status_text) firstfg = False #--------myimgviewer.py------------------------------ elif event in '-timeout-': jikan = show_time() window['-jikan-'].update(jikan) try: ui_data=ui_que.get_nowait() except : ui_data = None if ui_data: print(ui_data) window['-status-'].update(ui_data) stream.close() p.terminate() window.close()

発生している問題・エラーメッセージ

コードのαと記載した3行を今の配置した場所ですと、音楽がカクカクに再生されてしまっています。
Cancel(名前変えずおかしくてすみません。)イベントに移しても再生されず、音楽再生と画像ボタン表示が同時に実行できませんでした。

試したこと

αの場所を変えることは効果がありませんでした。
本来の目的は波形を同じ画面内に小さくして表示したいのですが、それはいったんおいておき、同時に再生と表示をしようとwhileを別にするなど試しましたが、そもそも片方だけループしてしまいだめでした。

どのようにすれば同時実行が可能になるでしょうか。アドバイスどなたか頂けないでしょうか。
よろしくお願いいたします。

補足情報(FW/ツールのバージョンなど)

windows10
PySimpleGUI
Python3.8.8

アドバイス直後に実装したコード①

先ほどこちらにコード記載したところ18000文字となってしまい8000文字オーバーになってしまいました。
コメントに記載してみます。

multiprocessingが簡易なのではとコーディングしましたが、音楽は流れて波形も表示されていますが、画像表示のボタンを押した際にフリーズになってしまいました。
イメージ説明

アドバイス頂いた直後に実践したコード

python

1# 先頭に 2# ファイルの先頭で 3import logging 4logger = logging.getLogger(__name__) 5 6# ログにスレッド名を表示&ロギングを有効にする設定 7# if __name__ == "__main__": 内に置きたいが、なければファイル先頭でもok 8logging.basicConfig(level=logging.DEBUG, format="[%(threadName)-10s][%(levelname)-8s] %(message)s") 9 10# logger モジュールは、スレッドセーフなので、どこからでも安全に呼び出せます。 11# print の代わりに利用 logger.info, logger.debug, logger.error, 等 12fn = "futta-fly.wav" 13logger.debug(f"debug message: {fn=}") # f-string で変数 fn を表示 14 15#~略~ 16 17def play_audio(): 18 # TODO: リソース作成・解放はスレッド側で完結する 19 wf = wave.open(filename, "r") 20 # ストリームを開く 21 p = pyaudio.PyAudio() 22 stream = p.open(format=p.get_format_from_width(wf.getsampwidth()), 23 channels=wf.getnchannels(), 24 rate=wf.getframerate(), 25 output=True) 26 27 # 音声を再生 28 data = wf.readframes(CHUNK) 29 while True: 30 stream.write(data) 31 redraw() 32 33 elif event in '-do-': 34 # ボタンを押した時に開始 35 thread = threading.Thread(target=play_audio, args=(data_que,ui_que), daemon=True) 36 thread.start()

doボタンを押下しても下記コンソールのみですぐウィンドウが閉じてしまいました。
イメージ説明

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

問題点: スレッドが正しく使えてません 用途に合った使い方になってません

python

1while True: 2 3 # 音楽再生の為には、ここを定期的に呼び出す必要がある 4 stream.write(data) 5 data = wf.readframes(CHUNK) 6 7 # 何も操作しなければ、100ms 毎に動きます → 最大 100ms 間、音楽再生をブロックする 8 event, values = window.read(timeout=100,timeout_key='-timeout-') 9

解決策: オーディオ再生を別スレッドで実行する (提示のコードは方針のみ)

python

1def play_audio(): 2 # TODO: リソース作成・解放はスレッド側で完結する 3 4 stream = p.open(...) 5 6 while True: 7 data = wf.readframes(CHUNK) 8 stream.write(data) 9 10 # TODO: 再生速度を考慮するなら、ここでqueue にいれて、 11 # queue の読み出しも定期的に実行されるようにする。 12 13 14# ボタンを押した時に開始 15thread = threading.Thread(target=play_audio, args=(), daemon=True) 16thread.start()

もうひとつ気を付けなければいけない点は、
PySimpleGUI(内部ではtkinter) と pygame を同時に使おうとしてます。

これらのライブラリはイベントループを自分で書く利用法が主なので、
同時利用自体は可能なのですが、注意が必要な点は、
双方のイベントループを止めないように配慮しないと、片方が応答なしになってしまいます。


追記: コードの全貌をまだ把握しきれてないので、読みながら判明した点を追記します。

問題点: スレッドの使い方が、ボタンを押したときにスレッド生成、
スレッド内ではキューへの出し入れしか仕事をしていない。

確認方法: logging モジュールを使い、関数がどのスレッドで実行されているかを表示する。

python

1# ファイルの先頭で 2import logging 3logger = logging.getLogger(__name__) 4 5# ログにスレッド名を表示&ロギングを有効にする設定 6# if __name__ == "__main__": 内に置きたいが、なければファイル先頭でもok 7logging.basicConfig(level=logging.DEBUG, format="[%(threadName)-10s][%(levelname)-8s] %(message)s") 8 9# logging モジュールは、スレッドセーフなので、どこからでも安全に呼び出せます。 10# print の代わりに利用 logger.info, logger.debug, logger.error, 等 11logger.debug(f"debug message: {fn=}") # f-string で変数 fn を表示 12 13 14# ※ multiprocessing 利用があったので追記 15# マルチ「プロセス」の場合は、この設定では不十分で、 16# 追加でプロセス間のキューを用いた設定・構成が必要になります。

スレッドは、解りやすくリソース毎に割り当てるなら

  • 音楽再生スレッド(portaudio)
  • 波形プロットのスレッド(pygame?)
  • メインスレッド(PySimpleGUI)

とします。
必要なキューは、GUI -> 音楽再生停止の制御と、wavデータ読み出し→波形プロット

メイン: pygame+PySimpleGUI <=> サブスレッド: portaudio にする方法もありますが、
分離した方が、バックエンドを別のライブラリに差し替え等といった時に都合の良い設計になります。

スレッドの解りやすい使い方は、
ボタンを押したときに毎回生成ではなく、スレッドは予め稼働させておいて
ボタンを押したときに動き出すように、queue や threading.Eevnt 等で制御します。
メインスレッド終了時に、スレッドは正しく終了させるように構成する。
(スレッド内でのループやブロック処理は抜けるように。→リソース解放処理を確実に呼び出す)


pygame をメインスレッド以外で使えるかは、試してないので解りませんが、
使えない場合は メインスレッドの利用をPySimpleGUI と入れ替え。

GUIライブラリではメインスレッドでしか使えない制限がある事があります。
(正確には、初期化したスレッドと同じスレッド内でないと誤動作の原因に)

基本は、ウィンドウを閉じた時に終了したい場合が多いので、
GUI をメインスレッドにした方が都合が問いのですが
PySimpleGUI 内で使われている tkinter は別スレッドでも大丈夫です。

投稿2021/06/26 10:08

編集2021/06/27 05:18
teamikl

総合スコア8664

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

dendenmushi

2021/06/26 11:00

回答頂きありがとうございます。まずは実践してみます。
dendenmushi

2021/06/26 12:10

順番がまだおかしいためかメソッドを別にして実行したのですが反応しませんでした。pygameが関連している可能性あるのかわかりませんがもう少し熟読し実践してみます。
dendenmushi

2021/06/26 14:29

なんとか理想に近づけました。回答ありがとうございました。
teamikl

2021/06/26 15:05 編集

丁度今日、複数のイベントループを同時実行するライブラリを作ってたので、 PySimpleGUI + pygame の同時実行も、タイムリーに関心のあるトピックだったりします。 後日で良ければ、もう少し情報出せます。 デバッグのヒントを出しておくと、 このようなイベントループを元に動くプログラムは「イベント駆動」と呼ばれ、 正常に稼働させるには、イベント処理が継続的に呼ばれるのが前提となってます。 反応がないというのは、イベント処理をする部分が定期的に呼ばれていない為に発生します。 原因は、一般的には、何処かで時間の掛かる処理・ブロックする処理が発生して止まっている為、 ログを出力して止まっている部分を調べます。 以下の点がそれぞれの要所です。いずれかの実行が滞ると応答なしや音声が途切れるに繋がります。 - pysimplegui のイベント処理: window.read(timeout=100,timeout_key='-timeout-') - pygame のイベント処理: pygame.event.get() - portaudio の音声再生処理: readframes と stream.write  portaudioはイベントループではありませんが、ここも同様にループ処理内で  音声再生をする為に継続的に呼び出す必要がある部分。 これらの処理の前後でログを出力して、 それぞれのイベントループが正常に稼働してるのを確認して見て下さい。
teamikl

2021/06/26 16:15

ちなみに上記の中で、ブロッキングが発生するのは、window.read() 「内部」のイベントループで、 timeout なしだとイベントがあるまで待機、timeout ミリ秒経過まで待機し timeout イベント、 といった挙動で、その間は他の処理を止めてしまいます。(全て同一スレッドで実行の場合) 解決策の案は、 A) それぞれを別のスレッドにする。← 率直に実装するなら、この方法が推奨 B) ノンブロッキングな独自のイベントループを構築する。← 私が今取り組んでる方法。情報は少ないです。 C) timeout間隔を短くする。数値を少なくするだけなので、変更は容易ですが 多分想定された使われ方ではないので、あまり良い方法ではないかもしれません。
teamikl

2021/06/26 16:35

>logger.debug(f"debug message: {fn=}") # f-string で変数 fn を表示 このコードは、スレッドで実行されるコードの中で使って、 その関数が意図通りにスレッド実行されているのを確認します。 {fn=} の部分は、変数を表示する時の例。メッセージは何でも構いません。 # ボタンを押した時に開始~のコードはPySimpleGUI のボタンクリック時を想定です。 readframes は、while ループ内に入れないと、毎ループ同じチャンクを送り続けます。
dendenmushi

2021/06/27 00:41 編集

追加回答ありがとうございます。非常に勉強になり感謝しております。かなり奥深いことわかりました。こちらの系統で悩んでる部分がまたありましたらその際はよろしくお願いいたします。
teamikl

2021/06/27 05:17

スレッドの使い方について、元のコードの使い方は ボタンを押した時に、バックグラウンドで時間の掛かる処理 → 終ってから結果を受け取る という使い方で、「正しくない」というよりは「用途に合ってない」といった方が適切でした。 語弊があるだったので訂正しておきます。 補足: 上記C案は、 PySimpleGUI をノンブロッキングで扱う為の方法として、timeout を短くするという案ですが、 直面している問題であるブロッキングは回避できても、他で不都合がでる可能性があります。 ここは、実際に試して幾つか懸念事項がありました。 ---- まとめると、最初のコードは GUI/音声再生/波形プロット の3つの処理を、 一つのループで行おうとしてました。 問題個所は、GUI の window.read(timeout=100, ...) による、一時的なブロッキング処理。 → 一つのスレッド内なので、ブロッキングが発生すると、他の処理が滞る構造。 解決策は、結論としては、PySimpleGUI と他処理のスレッドを別ける。 回答としては、設計寄り・方針のみでしたが、参考になったようで良かったです。
teamikl

2021/06/29 08:45

訂正: portaudio -> ライブラリ名は pyaudio (バックエンドがportaudio) 追加情報で、pyaudio にノンブロッキング版のAPI もあったので、 別解としては、start_stream/callback でwavを読み込む解決策もありました。 (注意点: callbackは別スレッドで実行されるので、  プロット描画にはqueue等によるスレッド間通信が必要)
dendenmushi

2021/07/17 12:29

teamiklさんすみません久しぶりにteratail開いて今気付きました。追加情報ありがとうございました。queue等によるスレッド間通信暫くしましたら挑戦いたします。
guest

0

Cpython(多くの人が使っていてPythonと呼んでいるもの)は、グローバルインタプリタロック のために、そうなります。

これを回避するためにはPypyなどの別のPythonを使うか、さもなければmultiprocessingモジュールを使いましょう。

投稿2021/06/26 07:31

ppaul

総合スコア24666

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

teamikl

2021/06/26 10:12 編集

GIL(グローバルインタプリタロック) ではなく、イベントループによるブロック処理なので、 今の段階では考えなくても大丈夫です。 GILの回避は、スレッドでは処理が追い付かないような時に検討します。 現状では、スレッドの使い方自体に改善の余地があり。
dendenmushi

2021/06/26 10:57

回答ありがとうございました。以下コード記載しました。本文は8000文字オーバーになってしまいました。 ```python #----myimgviewer.py---------------------------------- import PySimpleGUI as sg from PIL import Image, ImageTk import io import sys import pyautogui import time # import os flag_status = 0 img_types = (".png", ".jpg", "jpeg", ".tiff", ".bmp") status_text = '' fname = None if not len(sys.argv) == 1: fname = sys.argv[1] # print('a') # print(fname) if fname: if not fname.lower().endswith(img_types): sg.popup("Cancel", fname + " is Not image file") raise SystemExit("Canceling: Not image file") def get_img_data(f, maxsize=(1200, 850), first=False): """Generate image data using PIL.""" global status_text im = Image.open(f) status_text = "%d x %d" % im.size # original image size im.thumbnail(maxsize) status_text += " (%d x %d)" % im.size # thumbnail image size if first: bio = io.BytesIO() im.save(bio, format="PNG") del im return bio.getvalue() return ImageTk.PhotoImage(im) # layout firstfg = True if fname: print('b') image_elem = sg.Image(data=get_img_data(fname, first=firstfg)) fname_elem = sg.InputText(size=(80, 1), enable_events=True, default_text=fname) firstfg = False else: print('c') image_elem = sg.Image() fname_elem = sg.InputText(size=(80, 1), enable_events=True) status_elem = sg.Text(key='-STATUS-', size=(64, 1)) #----myimgviewer.py---------------------------------- #------------myimgviewer.py------------------------- import PySimpleGUI as sg from PIL import Image, ImageTk import io import sys import pyautogui import time # import os flag_status = 0 img_types = (".png", ".jpg", "jpeg", ".tiff", ".bmp") status_text = '' fname = None if not len(sys.argv) == 1: fname = sys.argv[1] # print('a') # print(fname) if fname: if not fname.lower().endswith(img_types): sg.popup("Cancel", fname + " is Not image file") raise SystemExit("Canceling: Not image file") def get_img_data(f, maxsize=(1200, 850), first=False): """Generate image data using PIL.""" global status_text im = Image.open(f) status_text = "%d x %d" % im.size # original image size im.thumbnail(maxsize) status_text += " (%d x %d)" % im.size # thumbnail image size if first: bio = io.BytesIO() im.save(bio, format="PNG") del im return bio.getvalue() return ImageTk.PhotoImage(im) # layout firstfg = True if fname: print('b') image_elem = sg.Image(data=get_img_data(fname, first=firstfg)) fname_elem = sg.InputText(size=(80, 1), enable_events=True, default_text=fname) firstfg = False else: print('c') image_elem = sg.Image() fname_elem = sg.InputText(size=(80, 1), enable_events=True) status_elem = sg.Text(key='-STATUS-', size=(64, 1)) layout = [ [fname_elem, sg.FileBrowse(key='-FILENAME-')], [status_elem], # ボタンレイアウト [ sg.Submit(button_text='ボタン(1)', font=('yu Gothic UI',8),size=(15,1),key='button1'), sg.Submit(button_text='ボタン(2)', font=('yu Gothic UI',8),size=(15,1),key='button2'), sg.Submit(button_text='ボタン(3)', font=('yu Gothic UI',8),size=(15,1),key='button3') ], # テキストレイアウト [ sg.Text(' ● 押したボタンを判定します。', font=('yu Gothic UI',8),key='text1')], [image_elem] ] # create window window = sg.Window('Image Viewer', layout, return_keyboard_events=True, location=(0, 0), use_default_focus=False) #-------------myimgviewer.py--------------------------------------------- #-------------wave_spect.py---------------------------------------- #!/usr/bin/env python3 import wave import sys import pygame from pygame.locals import * import scipy.fftpack as spfft import soundfile as sf import pyaudio import numpy as np import pdb # -------------------------------------------------------------------- # パラメータ # -------------------- #fn = "yasasi_output.wav" #fn = "output.wav" fn = "aoa2.wav" # 計算用 CHUNK = 1024 # pyaudioでストリームにチャンク単位で出力(何故1024かはよく知らない) start = 0 # サンプリング開始位置 N = 1024 # FFTのサンプル数 SHIFT = 1024 # 窓関数をずらすサンプル数 hammingWindow = np.hamming(N) # 窓関数 t = 0 # -------------------- # 描画用 SCREEN_SIZE = (854, 480) # ディスプレイのサイズ rectangle_list = [] # -------------------- # pygame画面初期設定 pygame.init() screen = pygame.display.set_mode(SCREEN_SIZE) pygame.display.set_caption("Pygame Audio Visualizer") #-------------wave_spect.py---------------------------------------- import time from multiprocessing import Pool, Process def nijou1(inputs): # -------------------------------------------------------------------- # wavファイルを再生しつつ、後に定義する再描画関数redraw()を呼び出す関数 def play_wav_file(filename): try: wf = wave.open(filename, "r") except FileNotFoundError: # ファイルが存在しなかった場合 print("[Error 404] No such file or directory: " + filename) return 0 # ストリームを開く p = pyaudio.PyAudio() stream = p.open(format=p.get_format_from_width(wf.getsampwidth()), channels=wf.getnchannels(), rate=wf.getframerate(), output=True) # 音声を再生 data = wf.readframes(CHUNK) while data != '': stream.write(data) data = wf.readframes(CHUNK) redraw() stream.close() p.terminate() # -------------------------------------------------------------------- # 「FFTかけて描画」を繰り返す. def redraw(): global start global screen global rectangle_list # -------------------- # 対象サンプル点のブロックにFFTをかけて振幅スペクトルを計算する windowedData = hammingWindow * x[start:start + N] # 窓関数をかけたデータブロック X = spfft.fft(windowedData) # FFT amplitudeSpectrum = [np.sqrt(c.real ** 2 + c.imag ** 2) for c in X] # 振幅スペクトル # -------------------- # Pygameでの描画 screen.fill((240, 128, 128)) # 好きな色で初期化する rectangle_list.clear() # 四角形リスト初期化 # スペクトル描画 数値は実行して調整しながら for i in range(86): rectangle_list.append(pygame.draw.line(screen, (102, 205, 170), (1+i * 10, 350 + amplitudeSpectrum[i].astype(int) * 10), (1+i * 10, 350 - amplitudeSpectrum[i].astype(int) * 10), 4)) # ディスプレイ更新 pygame.display.flip() start += SHIFT # 窓関数をかける範囲をずらす if start + N > nframes: sys.exit() for event in pygame.event.get(): # 終了処理 if event.type == QUIT: sys.exit() if event.type == KEYDOWN: if event.key == K_ESCAPE: sys.exit() # -------------------------------------------------------------------- # -------------------- # wavデータを取得 data, fs = sf.read(fn) # dataの形状は(フレーム数×チャンネル数) if data.ndim == 1: x = data # モノラルならそのまま使う if data.ndim == 2: x = data[:, 0] # ステレオならLチャンネルだけに絞って処理することに(Rなら0を1にしてください) nframes = x.size # フレーム数取得(FFTで窓関数をずらすときの終了条件に使います) # -------------------- # 再生と描画を開始 play_wav_file(fn) def nijou2(inputs): # event loop while True: event, values = window.read() if event is None: break if event == "button1": #ボタン(1)で実行させたい処理 window['text1'].update(' ● ボタン(1)を押しました。',text_color=("#ff0000")) print('flag_status 1') fname = 'C:\work\music\f1.png' image_elem.update(data=get_img_data(fname, first=firstfg)) print(fname) fname_elem.update(fname) status_elem.update(status_text) firstfg = False if event == "button2": #ボタン(2)で実行させたい処理 window['text1'].update(' ● ボタン(2)を押しました。',text_color=("#00ff00")) print('flag_status 2') fname = 'C:\work\music\f2.png' image_elem.update(data=get_img_data(fname, first=firstfg)) print(fname) fname_elem.update(fname) status_elem.update(status_text) firstfg = False if event == "button3": #ボタン(3)で実行させたい処理 window['text1'].update(' ● ボタン(3)を押しました。',text_color=("#0000ff")) print('flag_status 3') fname = 'C:\work\music\f3.png' image_elem.update(data=get_img_data(fname, first=firstfg)) print(fname) fname_elem.update(fname) status_elem.update(status_text) firstfg = False if event in (None, 'Exit'): print('d') break window.close() if __name__ == "__main__": # Pool()を定義 p = Pool() # プロセスを2つ非同期で実行 result = p.apply_async(nijou1, args=[3]) result2 = p.apply_async(nijou2, args=[5]) # 1秒間隔で終了チェックして終了したら結果を表示 for k in range(5): if result.ready(): break print(result.get()) print(result2.get()) p.close() ``` 本文のとおり、音楽再生のみであとは画像クリック後にフリーズでした。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.45%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問