pythonで波形の生成と再生をリアルタイムに行いたい

Question

前提・実現したいこと

pythonとRassberyPiを用いて楽器のほうのキーボード(電子ピアノ)のようなものを作成しようとしています。
現段階ではpython3および、pyAudioを用いてSin波をならすプログラムをつくり、ここから改良していき
和音や音色の変更、エンベロープなどを実装していこうと思っているのですが、いまいち波形の作成および合成と出音の流れがうまくいきません。
コールバック関数を用いてバッファを少しずつ書き込むという形式をとれば良いそうなのですが実装方法に関して検討もつきません…

発生している問題・エラーメッセージ

現在のコードでは0.05秒間の波形を作成
↓
再生

この流れを繰り返していますが音がプツプツときれてしまうという問題が発生しています。

該当のソースコード

import math
import numpy as np
import pyaudio 
import struct

# classとか関数書く

def play(stream,data):  #再生用関数、ストリームと波形データを引数に

      # チャンク単位でストリームに出力し音声を再生
     chunk = 1024
     sp = 0  # 再生位置ポインタ
     buffer = data[sp:sp+chunk]
     while buffer:
         stream.write(buffer)
         sp = sp + chunk
         buffer = data[sp:sp+chunk]
 

def createData(freqList = [440]): #オシレーター 

     data = []
     amp = 1.0 / len(freqList)    #使用時は波形データにampを乗算する

     for n in np.arange(0.05 * 44100):  # nはサンプル数
         
         s = 0.0                        #波形データをゼロクリア

         for f in freqList:
             s += amp * np.sin(2 * np.pi * f * n / 44100)
         # 振幅が大きい時はクリッピング
         if s > 1.0:  s = 1.0
         if s < -1.0: s = -1.0
         data.append(s) #末尾に追加
     data = [int(x * 32767.0) for x in data] #値を32767～-32767間にする
     

     # バイナリに変換
     data = struct.pack("h" * len(data), *data)  # listに*をつけると引数展開される


     return data
# mainだよ～ 
if __name__ == '__main__':

     # ストリームを開く
     p = pyaudio.PyAudio() 
     stream = p.open(format=pyaudio.paInt16,channels=1, rate=44100, output=1)

     # メインループ入るよ
        
     while True :
            
         data = createData()
         play(stream,data)
            
    

     #======================
     stream.close()
     p.terminate()

Answer 1

とりあえず、音がプツプツなる原因は def createData() の

for n in np.arange(0.05 * 44100):  # nはサンプル数
    # ...略...
    s += amp * np.sin(2 * np.pi * f * n / 44100)

の部分です。

これだと、データは毎回 sin(0) から生成されますが、データの最後は周波数によってまちまちとなるので 0 (sin(2π x n) (n: 1,2,3,…)) でおわるとは限りません。その為データはcreateData() が呼び出される 0.05秒毎に不連続となりますので、再生するとプツプツなります。

で、修正方法ですが、データの生成位置を保持しておき、前回の続きからデータを生成するように修正するとよいかと思います。

具体的な修正方法を１つ挙げますと、例えば createData関数を

• 引数でデータの開始位置(start_pos)を渡す
• 戻り値としてデータの終わりの位置(end_pos)を戻す

のように改造して、

def createData(freqList = [440], start_pos=0): #オシレーター
     data = []
     amp = 1.0 / len(freqList)    #使用時は波形データにampを乗算する

     end_pos = start_pos + 0.05 * 44100
     for n in np.arange(start_pos, end_pos):
         s = 0.0                        #波形データをゼロクリア
         for f in freqList:
             s += amp * np.sin(2 * np.pi * f * n / 44100)
         # 振幅が大きい時はクリッピング
         if s > 1.0:  s = 1.0
         if s < -1.0: s = -1.0
         data.append(s) #末尾に追加
     data = [int(x * 32767.0) for x in data] #値を32767～-32767間にする


     # バイナリに変換
     data = struct.pack("h" * len(data), *data)  # listに*をつけると引数展開される

     return data, end_pos

呼び出し元(メインループ)にて

     pos = 0
     while True :
         data, pos = createData(start_pos=pos)
         play(stream,data)

のようにするとよいかと思います。

Comments

[退会済みユーザー]

無事、音が途切れず再生することができました！
波形生成の基本的な部分を見落としていて、処理時間の問題かと思ってしまって
スレッドを分けて並列処理してダブルバッファにしてみたりなど色々試していたのですが、解決してよかったです。
ありがとうございました！