java sount api で波形を描画しようとしたのですがrepaintされません。

Question

前提・実現したいこと

java sound apiを使用して波形を描画するプログラムを作っています。

import java.awt.*;
import java.awt.event.*;
import java.util.*;

import javax.sound.sampled.*;
import javax.swing.*;
class recordsys extends Observable{
	byte wavedata[];
	AudioFormat format;
	DataLine.Info info;
	TargetDataLine target;
	AudioInputStream input;
	boolean recmode;
	double width=1;//録音時間(1秒)
	int rate=44100;//サンプリングレート
	public recordsys() {
		try {
			wavedata=new byte[(int)(width*rate)];
			format= new AudioFormat(rate,8,1,true,false);
			info=new DataLine.Info(TargetDataLine.class, format);
			target=(TargetDataLine)AudioSystem.getLine(info);
			input= new AudioInputStream(target);
		}catch(Exception e) {
			System.out.println("ERROR");
		}
	}
	public void startrec() {
		int i=0;
		try{
			target.open(format);
			target.start();
		    while(i<5) {
		    	input.read(wavedata,0,wavedata.length);
		    	setChanged();
		    	notifyObservers();
		    	i++;
		    }
		}catch(Exception e) {
			System.out.println("ERROR");
		}
	}
	public void stoprec() {
		target.stop();
		target.close();
	}
	public byte[] getdata() {
		return wavedata;
	}
	public int getdatalength() {
		return wavedata.length;
	}
}
class wavemake extends JPanel implements Observer{
	int x=800;
	byte data[];
	int len;
	recordsys sys;
	public wavemake(recordsys r) {
		sys=r;
		len=sys.getdatalength();
		data=sys.getdata();
		r.addObserver(this);
	}
	public void paintComponent(Graphics g) {
		super.paintComponent(g);
		for(int i=0;i<x-1;i++) {
			g.drawLine(i,-1*data[(int)(len*(double)i/x)]+127,
					i+1,-1*data[(int)(len*(double)(i+1)/x)]+127);
		}
	}
	public void update(Observable o,Object arg) {
		data=sys.getdata();
		System.out.println("repaintします");
		repaint();
		try {
			Thread.sleep(100);
		} catch (InterruptedException e) {
			e.printStackTrace();
		}
	}
}
class controler extends JPanel implements ActionListener{
	JButton start,stop;
	recordsys sys;
	public controler(recordsys s) {
		sys=s;
		start= new JButton("開始"); stop=new JButton("停止");
		start.addActionListener(this);
		stop.addActionListener(this);
		this.setLayout(new GridLayout(1,2));
		this.add(start);
		this.add(stop);
	}
	public void actionPerformed(ActionEvent ev) {
		if(ev.getSource()==start) {
			sys.startrec();
		}else if(ev.getSource()==stop) {
			sys.stoprec();
		}
	}
}
class soundwave extends JFrame{
	recordsys sys;
	controler cont;
	wavemake wave;
	public static void main(String[] args) {
		new soundwave();
	}
	public soundwave() {
		sys=new recordsys();
		cont=new controler(sys);
		wave=new wavemake(sys);
		this.setSize(800,400);
		this.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
		this.add(wave);
		this.add(cont,BorderLayout.SOUTH);
		this.setVisible(true);
	}
}

Jbuttonの「開始」ボタンを押すと5秒の間1秒毎に録音した音の波形が描画されるようにしたいと考えています。しかし波形が更新されず最後の1秒分しか描画されませんでした。updateメソッドは正常に実行されているようですが何故でしょうか。

追記

このプログラムは外部の音を録音してその波形を描画するというプログラムです。
repaintの問題は解決しましたが、別に謎のノイズが発生する問題が起きてしまいました。

机を叩いた時の波形です。最初の数秒間は正しい波形を描けているのですが、途中から、または停止させた時に机以外から音は出していないのに、

このような波形が出力されていまいました。

###改良版ソースコード

import java.awt.*;
import java.awt.event.*;
import java.util.*;

import javax.sound.sampled.*;
import javax.swing.*;
class recordsys extends Observable implements Runnable{
	byte wavedata[];
	AudioFormat format;
	DataLine.Info info;
	TargetDataLine target;
	AudioInputStream input;
	
	wavemake make;
	boolean recmode;
	double width=1;//録音時間(1秒)
	//int rate=44100;//サンプリングレート
	int rate=8000;
	public recordsys() {
		try {
			wavedata=new byte[(int)(width*rate)];
			format= new AudioFormat(rate,8,1,true,false);
			info=new DataLine.Info(TargetDataLine.class, format);
			target=(TargetDataLine)AudioSystem.getLine(info);
			input= new AudioInputStream(target);
		}catch(Exception e) {
			System.out.println("ERROR");
		}
		recmode=true;
	}
	public void stoprec() {
		recmode=false;
	}
	public void run() {
		int i=0;
		try{
			target.open(format);
			target.start();
			recmode=true;
		    while(recmode&&i<10) {
		    	input.read(wavedata,0,wavedata.length);
		    	make.setdata(wavedata);
		    	setChanged();
		    	notifyObservers();
		    	i++;
		    }
		    target.stop();
		    target.close();
		}catch(Exception e) {
			System.out.println("ERROR");
		}
	}
	public byte getdata(int i) {
		if(i>=wavedata.length)return 0;
		else return wavedata[i];
	}
	public int getdatalength() {
		return wavedata.length;
	}
	public void setwavemaker(wavemake m) {
		make=m;
		make.setdata(wavedata);
	}
}
class wavemake extends JPanel implements Observer{
	int x=800;
	int len;
	byte data[];
	recordsys sys;
	public wavemake(recordsys r) {
		sys=r;
		len=sys.getdatalength();
		
		r.addObserver(this);
	}
	public void paintComponent(Graphics g) {
		super.paintComponent(g);
		int val1,val2;
		for(int i=0;i<len-1;i++) {
			val1=Byte.toUnsignedInt(data[i]);
			val2=Byte.toUnsignedInt(data[i+1]);
			g.drawLine((int)(x*(double)i/len),val1,(int)(x*(double)(i+1)/len),val2);
		}	
	}
	public void update(Observable o,Object arg) {
		repaint();
	}
	public void setdata(byte d[]) {data=d;}
}
class controler extends JPanel implements ActionListener{
	JButton start,stop;
	recordsys sys;
	public controler(recordsys s) {
		sys=s;
		start= new JButton("開始"); stop=new JButton("停止");
		start.addActionListener(this);
		stop.addActionListener(this);
		this.setLayout(new GridLayout(1,2));
		this.add(start);
		this.add(stop);
	}
	public void actionPerformed(ActionEvent ev) {
		if(ev.getSource()==start) {
			Thread thread=new Thread(sys);
			thread.start();
		}else if(ev.getSource()==stop) {
			sys.stoprec();
		}
	}
}
class soundwave extends JFrame{
	recordsys sys;
	controler cont;
	wavemake wave;
	public static void main(String[] args) {
		new soundwave();
	}
	public soundwave() {
		sys=new recordsys();
		wave=new wavemake(sys);
		sys.setwavemaker(wave);
		cont=new controler(sys);
		this.setSize(800,400);
		this.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
		this.add(wave);
		this.add(cont,BorderLayout.SOUTH);
		this.setVisible(true);
	}
}

Answer 1

「開始」ボタンで actionPerformed から呼ばれる sys.startrec メソッド内で実行される AudioInputStream#read によって, 計 5 秒ブロックしているものと思います.

AudioInputStream#read

オーディオ入力ストリームから数バイトを読み込み、それをバッファ配列bに格納します。実際に読み込まれたバイト数は整数として返されます。入力データが読み込めるようになるか、ストリームの終わりが検出されるか、または例外が発生するまで、このメソッドはブロックされます。

read(byte[] b, int off, int len) のほうには明示的にブロックとは書いていませんが,

オーディオ・ストリームから指定されたデータの最大バイト数まで読み込み、読み込んだバイトを指定されたバイト配列に格納します。

とあり, 最大まで読み込むとあったり, read(byte[] b) → read(byte[] b,0,b.length) という呼び出しの連鎖になっている場合が多いため, ブロックするものと推測します. (ソースは確認していません.)

Swing はシングルスレッドですので, actionPerformed 内でブロックすれば, 再描画を含めた全体が止まります.
そして, sys.startrec が終わって actionPerformed を抜ければ動き出しますが, その時バッファ(recordsys.wavedata) には最後の 1 秒分のデータしかありません.

Comments

[Lapis_nul]

readメソッドは(この場合)1秒経過すれば抜け出す訳ではないのですか？ブロックについて全くの無知で申し訳ありません。

[jimbe]

read は 1秒で抜けますが, while で 5 回行っています.
notifyObservers → update → repaint で 1 秒毎に再描画されるとお考えでしょうが, repaint は Swing への再描画の "依頼" で, repaint を呼べば即再描画されるわけではありません.
Swing は未だ開始ボタンの処理を実行中ですので, "依頼"はそれが終わらないと実行されません. "Swing がシングルスレッド" というのはそういうことです.

[Lapis_nul]

シングルスレッドということは、何か別のスレッドを生成しその中でrepaintする手段は使えないので、その代わりにngsvxさんが仰る通りSwingUtilities.invokeLaterを使用しなければならないということですね？

[jimbe]

"Swing が" シングルスレッドで動作しているというだけで, java 的には別のスレッドは生成できます.
しかし repaint のみを SwingUtilities.invokeLater で行っても無意味かと思います.
SwingUtilities.invokeLater によって送られる先が, まさしく repaint の"依頼" の送り先だからです.

別スレッドにするとすれば, それは音を取り込む個所かと思います.
開始ボタンの押下によって別スレッドを起動, そのスレッド内で録音し, 1秒分のデータを得たらそのデータを wavemake に送り, 描画するというものです.

[Lapis_nul]

その方法で考えてみたいと思います。色々と教えて頂きありがとうございました。

[Lapis_nul]

またすいません...
```java
class recordsys extends Observable implements Runnable{
byte wavedata[];
AudioFormat format;
DataLine.Info info;
TargetDataLine target;
AudioInputStream input;
boolean recmode;
double width=1;//録音時間(1秒)
int rate=44100;//サンプリングレート
public recordsys() {
try {
wavedata=new byte[(int)(width*rate)];
format= new AudioFormat(rate,8,1,true,false);
info=new DataLine.Info(TargetDataLine.class, format);
target=(TargetDataLine)AudioSystem.getLine(info);
input= new AudioInputStream(target);
}catch(Exception e) {
System.out.println("ERROR");
}
recmode=true;
}
public void stoprec() {
recmode=false;
}
public void run() {
int i=0;
try{
target.open(format);
target.start();
recmode=true;
while(recmode&&i<5) {
input.read(wavedata,0,wavedata.length);
setChanged();
notifyObservers();
i++;
}
target.stop();
target.close();
}catch(Exception e) {
System.out.println("ERROR");
}
}
public byte getdata(int i) {
if(i>=wavedata.length)return 0;
else return wavedata[i];
}
public int getdatalength() {
return wavedata.length;
}
}
class wavemake extends JPanel implements Observer{
int x=800;
int len;
recordsys sys;
public wavemake(recordsys r) {
sys=r;
len=sys.getdatalength();
r.addObserver(this);
}
public void paintComponent(Graphics g) {
super.paintComponent(g);
for(int i=0;i<x-1;i++) {
g.drawLine(i,-1*sys.getdata((int)(len*(double)i/x))+127,
i+1,-1*sys.getdata((int)(len*(double)(i+1)/x))+127);
}
}
public void update(Observable o,Object arg) {
repaint();
}
}
class controler extends JPanel implements ActionListener{
JButton start,stop;
recordsys sys;
public controler(recordsys s) {
sys=s;
start= new JButton("開始"); stop=new JButton("停止");
start.addActionListener(this);
stop.addActionListener(this);
this.setLayout(new GridLayout(1,2));
this.add(start);
this.add(stop);
}
public void actionPerformed(ActionEvent ev) {
if(ev.getSource()==start) {
Thread thread=new Thread(sys);
thread.start();
}else if(ev.getSource()==stop) {
sys.stoprec();
}
}
}
```
このように書き換えて1秒毎に更新するようにできたのですが、沢山のノイズが走り想定している物と全く違う波形が現れてしまいました。

[jimbe]

コメント欄で ``` によるフォーマット(マークダウン) は使えません.
ご質問に追記するしかありません.

結果につきましては, どのような音がどのようなデータになるのが正解なのかの知識は私にはありませんので, 判断は出来ません.

ただ一つ気になっていたのはバッファです.
マルチで動作させると, wavedata への書き込みと読み出しが同時に起こります.
つまり, 1 秒のデータが集まって WaveMake パネルが wavedata を読みながら線を書いている間も, recordsys は次の 1 秒分のデータを wavedata に上書きしているはずです.
読み込みのほうが早ければ逃げ切るかと思いますが, 書き込みのほうが早ければどこかで追い越し, グラフの途中から次の1秒のデータに変わってしまうかもしれません.
この辺りは, 表示用と録音用でバッファを切り替える等の管理が必要かもしれません.

[Lapis_nul]

詳しくは追記を確認して欲しいのですが、バッファを読込用と描画用で分離しても同じような症状が起きてしまいます。デバックでrecordsysクラスのwavedataやwavemakeクラスのdataの中身を確認しても-127や128といった数字は見受けられませんでした。となるとpaintcomponentに問題があるのでしょうか。

[jimbe]

> paintcomponentに問題があるのでしょうか
不確定なデータでは正解が分かり難いですので, 例えばデータとしてサイン波を入力されたかのように recordsys を弄ってみると分かるかと思います.

コメントに書かれた recordsys の run メソッドを

public void run() {
int i=0;
try{
//target.open(format);
//target.start();
recmode=true;
int j=0;
while(recmode&&i<5) {
//input.read(wavedata,0,wavedata.length);
j=createSinData(wavedata,j);
setChanged();
notifyObservers();
i++;
}
//target.stop();
//target.close();
}catch(Exception e) {
e.printStackTrace();
}
}

とし, 直下に追加で サインデータを生成する createSinData を追加します.

private int createSinData(byte[] wavedata, int j) {
for(int i=0; i<wavedata.length; i++, j++) {
wavedata[i] = (byte)(Math.sin(Math.toRadians(j/100))*127);
}
try {
Thread.sleep(1000); //[ms]
} catch(InterruptedException ignore) {
}
return j;
}

こちらで実行した限りでは, (「バッファを読込用と描画用で分離」前のコードですので) 「グラフの途中から次の1秒のデータに変わってしまう」現象はみられましたが, ごちゃごちゃのデータにはなりませんでした.

Answer 2

setdataメソッドで、オブジェクトを代入するのではなく、cloneメソッドで配列をコピーすることによって解決出来ました。皆さま、特にjimbe様には大変お世話になりました。本当にありがとうございました。

Answer 3

setdataメソッドについてオブジェクトを代入するのではなく、cloneメソッドで配列をコピーさせることで解決しました。皆さま、特にjimbe様には大変お世話になりました。ありがとうございました。

Answer 4

repaint()を別スレッドで、SwingUtilities.invokeLaterを使って実行してみたらどうでしょうか。