aiortcを使用して、リモートから受け取ったオーディオトラックをリアルタイムに再生したい。

Question

実現したいこと

• リアルタイムにオーディオを再生したい。

前提

webrtcをpythonで実装できる、aiortcのライブラリを使用して、
zoomやmeetのような、リアルタイムに通話できるシステムを作成しています。

発生している問題・エラーメッセージ

ピア接続が確立後、
以下のコードで、PyAVのAudioFrameをNumpy配列に変換し、
ノンブロッキングに、wirte()しています。

wirte()が５回ほど行われると、フリーズしてしまうのですが、
原因は何が考えられるでしょうか？

該当のソースコード

import sounddevice as sd
import numpy as np

    # リモートのトラックを受信する
    @peer_connection.on("track")
    async def on_track(track):
        print("receive track")
        if track.kind == "audio":
            print("audio track")
            sample_rate = 48000  # サンプルレートを定義
            channels = 2 # ステレオなのでチャンネル数を2に設定

            stream = sd.OutputStream(samplerate=sample_rate, channels=channels)

            stream.start()

            try:
                while True:
                    frame = await track.recv()
                    # pyavのAudioFrameをnumpy配列に変換
                    frame_data = frame.to_ndarray()
                    stereo_data = frame_data.reshape(960, 2)
                    print(f"Channels: {len(frame.layout.channels)}, Shape: {stereo_data.shape}")
                    # sounddeviceで再生
                    stream.write(stereo_data.astype(np.float32).copy())
            except Exception as e:
                print(f"Error during audio playback: {e}")
            finally:
                stream.stop()
                stream.close()

Answer 1

ライブラリは使ったことありませんが、
フリーズしそうな、気になった点を調べたところ

ノンブロッキングに、wirte()しています。

OutputStream.write はブロッキング・メソッドです。
https://python-sounddevice.readthedocs.io/en/0.5.1/usage.html#blocking-read-write-streams

⇒ 気になった点 async/await 対応なら write 時にも await があるはずです。

ノンブロッキングに書き込む場合は callback 形式になるようですが、
コードの見た目だけでも 読み込み/書き込み のループで対応させたい場合は、
キューに入れてから、別スレッドでキューからデータを読みだして write()

サンプルコードに sounddevice のストリームを asyncio (aiortc は詳しくないので別途調べて） で使う方法
ありましたが、sounddevice 自体が非同期対応ではなく、
非同期フレームワークのなかでどう工夫して使うかといった感じでした。
using a stream in an asyncio coroutin

await stream.write(...) みたいな事はできないようです。

---

他に考えられる要因は、エラーメッセージが出てなければ今回は関係ないかもしれませんが
（環境によってはエラーメッセージが出ない・出てる場所が解らないこともあるので、
エラーが正常にされるのを確認の上）try/except がループの外側なので、
何らかのエラーがあった場合に、ループは抜けて処理が終わることになります。

追記: ↑の場合は、ブロッキング処理がないから、質問にある「フリーズ」には該当しませんでした。訂正。