javaでの出音のための波形生成のクラスの管理方法について

Question

前提・実現したいこと

具体的な質問でなく抽象的な質問になってしまい申し訳ございません。
javaでのソフトウェアシンセサイザーのプログラミングについての情報がネット上にあまりなかったので質問させてもらいました。
はじめてteratailの利用するので何が問題があればご指摘お願いします。
また質問などがありましたらお願いします。

javaでMIDIキーボードからの入力でリアルタイムに演奏できるようなソフトを作りたいと思っています。

MIDIキーボードでの入力
↓
オシレーターを作成しSin波などの波形を生成する
↓
javax.sound.sampled.*(?)のaudio.writeを使って出音

という流れで処理を行いたいと思っています。
MIDIキーボードからのメッセージの受け取りはReceiverのsendメソッドを用いて実装できたのですが、この後のオシレーターの管理について悩んでいます。

試したこと

sendメソッドで受け取ったMIDIキーの鍵盤の番号でOscillatorクラスを作成し、リストに追加
Mainクラスのfor文内部でリストをループしOscillator.readメソッドから読み出しを4回分繰り返す。
リストの要素数で割り、byte型にキャストし再生

この方法を用いた所、遅延が酷く、複数音ならした時にまともに音がなりませんでした…

該当のソースコード

上記で試した内容は省いて最低限のものだけ載せています、java初心者のため見づらい所も多々あると思います。

import  javax.sound.sampled.*;
import  java.lang.Math;

import java.util.ArrayList;
import javax.sound.midi.*;
import java.util.Scanner;

public class Main{

    
    static  final int SAMPLE_RATE=44100;
    static byte[] data = new byte[4];

//-----------------------------------------------------------

    public static void main(String[] args){


         dumpDeviceInfo();//MIDI一覧の表示
        Scanner scan = new Scanner(System.in);
        System.out.print("デバイス番号を入力してください:");
        int DEVICE_IN = scan.nextInt();                      //デバイス番号の入力

        ArrayList<MidiDevice> devices = getDevices();
        MidiDevice device_input  = devices.get(DEVICE_IN);

        try{
            Transmitter trans = device_input.getTransmitter();

            trans.setReceiver(new MidiInputReceiver(devices.get(DEVICE_IN).getDeviceInfo().toString()));//Receive

            device_input.open();

        }catch (MidiUnavailableException e) {
            System.err.println(e.getMessage());
            System.exit(0);
        }

       try{
            AudioFormat fmt=new AudioFormat(SAMPLE_RATE, 8, 1, true, false);
            SourceDataLine  audio=(SourceDataLine)AudioSystem.getSourceDataLine(fmt);
            audio.open(fmt);
            audio.start();

            while(true){

                for(int  i=0; i<4; i++){
　　　　　　　　　　　//このループ内でdata配列に波形を入れたい。
                }

                audio.write(data, 0, 4);//再生

            }

        }catch(Exception e){
            e.printStackTrace();
            System.exit(1);
        }

    }
}

import javax.sound.midi.*;
//=====================

class MidiInputReceiver implements Receiver {
    public String name;
    public MidiInputReceiver(String name) {
        this.name = name;
        System.out.println("midi connect");
    }

        public void send(MidiMessage message, long timeStamp) {

            if (message instanceof ShortMessage) {
                ShortMessage sm = ((ShortMessage)message);

                System.out.println(sm.getCommand());
                System.out.println(sm.getData1());
                System.out.println(sm.getData2());

        }
        System.out.println("midi received");
    }

        public void close() {}

    }

public class Oscillator{

    static  final int SAMPLE_RATE=44100;
    double freq,dt;
    int time;

    public Oscillator(int key){
        
        dt = Math.PI*2/SAMPLE_RATE;
        freq = 440*(Math.pow(2,((key-69)/12)));
        time = 0;

    }

    public double read(){

        double w = (Math.sin(dt*time*freq)*127);
        time++;
        return w;
    }

}

Answer 1

はじめに・・・Javaの標準ライブラリーにはMIDI用のソフトウェアシンセサイザーが実装されているため、ご質問の機能自体を実現するにはこのシンセサイザーを直接用いるのが一番単純かつ素直な実装であるとは思うのですが、質問者さんはあえてそれを用いずに自前でシンセサイザーを実装するのが目的なのだろうと思います。その前提でコメントしてみます。

さて、期待する動作はMIDI-INの機器(MIDIキーボードなど)からのMIDIメッセージを受信しつつリアルタイムに波形を生成し再生することですね？その実現のための制御のポイントは「MIDIメッセージの受信と波形生成・波形再生は別のスレッドで行う」ことであると思います。

というのはMIDI-INからのreadは同期処理だからです。つまりMIDI機器からMIDIメッセージが送信されるまでreadは呼び出し元スレッドをブロックしますのでMIDIキーボードなどで鍵盤を押して(NOTE ONメッセージが発生)から鍵盤を離すまでの間はreadを呼び出したスレッドはブロックされる(要するに他の処理が一切進まない)ため波形の生成と再生を継続できません。質問者さんの方法論ではご質問にある説明「Oscillator.readメソッドから読み出しを4回分繰り返す」から想像するに「NOTE ONを受信したらある一定の長さの音を再生し、再生が終わったら次のNOTE ONを読み込む」という流れであるように思います。そのような方式のため「遅延が酷く、複数音ならした時にまともに音がならない」という結果になったのではないでしょうか？

ということで、次のような制御にするとよいと思います。

(1) スレッドＡ
MIDI INからMIDIメッセージをreadする専用のスレッドです。このスレッドではNOTE ONを受信したらオシレーターを追加し、NOTE OFFを受信したらオシレーターを削除(※1)するといった感じになります。

(2) スレッドＢ
生きているオシレーター（群）から波形をバッファーへ生成し、その波形を再生するという処理を無限に繰り返すようなものになります。なおjavax.sound.sampled.SourceDataLineによる波形再生は再生している間中writeがブロックするのではなくバッファー内の波形データをOSが制御する再生チャネル用の内部バッファーへ転送するだけなので転送が完了すれば呼び出し元スレッドへリターンしてくれます。つまり音声が再生されている間に次の波形を計算できます（あまり複雑な波形でなければですが）。そのためとりあえずは波形生成と再生は一つのスレッドで行っても大丈夫だと思います。

蛇足かも知れませんが・・・MIDIキーボードでは和音を演奏したり、和音でなくても旋律を演奏する際に複数のキーの発音期間がオーバーラップするのが普通ですのでスレッドＢでは複数のオシレーターの波形を合成して再生する制御を考慮すべきと思います。またオシレーターはスレッドＡ，Ｂの両方でアクセスする情報となりますので、追加や削除の際にはスレッド間で同期処理が必要となります。そのあたりはきちんと意識して設計しないと「なんとなくうまくいっているように見えるが時々おかしな挙動をする」といった非常に分かりにくバグに繋がります。もしマルチスレッドプログラミングの経験が少ないのでしたらスレッド間で共有する情報についての同期処理（排他処理）についても学ぶとよいと思います。

---

注釈：

※1: NOTE OFFを受信したらオシレーターを削除
本来はNOTE OFFの瞬間にいきなり波形を打ち切るとノイズが発生するため、NOTE OFFでオシレーターを即座に削除するのではなく、該当オシレーターに消音の指示をする(即ち徐々に音の大きさを小さくして完全に振幅が０になったらオシレーターを自動削除するような指示）とすべきですが、これについては現在の問題を解消した後に次の課題として取り組んだ方がよいかと思います。何事も一つ一つ解決していかないと手に負えなくなりますので・・・

Comments

[Corsola]

言葉足らずの所が多くて申し訳ございません、Javaの標準ライブラリのシンセサイザーを用いない方向で考えていたので、大変参考になりました。
マルチスレッドプログラミングについてはで勉強しながらいろいろと試してみたいと思います。
注釈部分でご指摘頂いた所に関してはリリースの実装をしようと思っていたので大丈夫だと思います。
丁寧な回答ありがとうございました。