Wavファイルの並列合成でノイズが乗る

Question

Java8にて、２つのWavファイルを並列に合成したいと考え色々調べたところ、データを足すと合成されるとあったので、単純に足してみたところ、一応ファイルは合成されたのですが、音が重なった部分に「サー」というノイズが乗ってしまい、きれいな合成がされません。

原因は何でしょうか。

Wavファイルは２つとも
frameSize:2byte
Fs:11025.0Hz
16bit
1ch
LittleEndian
SignedPCM
です。

宜しくお願い致します。

import java.io.ByteArrayInputStream;
import java.io.File;
import java.io.InputStream;

import javax.sound.sampled.AudioFileFormat;
import javax.sound.sampled.AudioFormat;
import javax.sound.sampled.AudioInputStream;
import javax.sound.sampled.AudioSystem;

public class WavMix {

	public static void main(String[] args) throws Exception {

		byte[] data1 = new WavMix().getByte("AAA.wav");
		byte[] data2 = new WavMix().getByte("BBB.wav");

		System.out.println("data1.length = " + data1.length);
		System.out.println("data2.length = " + data2.length);

		int activeLength = data1.length > data2.length ? data1.length : data2.length;

		// 並列合成
		byte[] data = new byte[activeLength];
		for (int i = 0; i < activeLength; i = i + 2) {
			if (data1.length > i && data2.length > i) {
				short n1 = (short) ((data1[i + 1] << 8) + data1[i]);
				short n2 = (short) ((data2[i + 1] << 8) + data2[i]);

				// 足す
				short n = (short) ((n1 + n2) * 0.5);

				String hex = String.format("%04x", n);
				byte z1 = (byte) Integer.parseInt(hex.substring(0, 2), 16);
				byte z2 = (byte) Integer.parseInt(hex.substring(2, 4), 16);
				data[i] = z2;
				data[i + 1] = z1;
			} else if (data1.length > i) {
				data[i] = data1[i];
				data[i + 1] = data1[i + 1];
			} else {
				data[i] = data2[i];
				data[i + 1] = data2[i + 1];
			}
		}

		// 書き出し
		AudioFormat af = new AudioFormat(22050, 16, 1, true, false);
		InputStream in = new ByteArrayInputStream(data);
		AudioInputStream newAis = new AudioInputStream(in, af, data.length);
		File soundFile = new File("newFile.wav");
		AudioSystem.write(newAis, AudioFileFormat.Type.WAVE, soundFile);

	}

	// データ取得
	byte[] getByte(String file) throws Exception {
		AudioInputStream ais = AudioSystem.getAudioInputStream(new File(file));
		byte[] data = new byte[ais.available()];
		ais.read(data);
		ais.close();
		format(ais);
		return data;

	}

	// ファイルフォーマット確認
	void format(AudioInputStream ais) {
		AudioFormat format = ais.getFormat();
		StringBuilder sb = new StringBuilder();
		sb.append("[AudioFormat] frameSize:" + format.getFrameSize() + "byte");
		sb.append(" Fs:" + format.getSampleRate() + "Hz");
		sb.append(" " + format.getSampleSizeInBits() + "bit");
		sb.append(" " + format.getChannels() + "ch");
		if (format.isBigEndian()) {
			sb.append(" BigEndian");
		} else {
			sb.append(" LittleEndian");
		}
		if (format.getEncoding() == AudioFormat.Encoding.PCM_SIGNED) {
			sb.append(" SignedPCM");
		} else if (format.getEncoding() == AudioFormat.Encoding.PCM_UNSIGNED) {
			sb.append(" UnsignedPCM");
		} else {
			sb.append(" NoPCM");
		}
		System.out.println(sb.toString());
	}

}

Answer 1

javaのbyteはsignedです。演算(本件でいえば加算)の際にintに昇格されます。例えば16bit符号付のあるサンプル値が-2(LittleEndian)の場合低位バイトと高位バイトは次のようになります

16進数でのバイト列：0xFE(低位) 0xFF(高位)
それをjavaのbyteとして取り出すと...
低位 : -2
高位 : -1

つまりintに昇格される際に負号拡張されるのです

(byte)0xFF -> (int)0xFFFFFFFF

それゆえ以下の計算式では演算結果が意図したものとなりません。

short n1 = (short) ((data1[i + 1] << 8) + data1[i]);
=> short n1 = (short) (( ((byte)0xFF) << 8) + ((byte)0xFF));
=> short n1 = (short) (( ((int)0xFFFFFFFE) << 8) + ((int)0xFFFFFFFF));
=> -258 (期待は-2)

こうした場合、低位のバイトは加算の前に0xFFとの論理積をとり負号拡張されないようにする必要があります。(いうまでもなくn1, n2の両方について)

誤：short n1 = (short) ((data1[i + 1] << 8) + data1[i]);
正：short n1 = (short) ((data1[i + 1] << 8) + (data1[i] & 0xFF));

---

補記: 問題の原因とは関係なく結果は間違ってませんが効率上の指摘を1点。

合成後のサンプルデータ(short型)をbyteへ分解する演算ですが、ご質問のコードでは16進数4桁のStringへ変換してその前後の2文字を16進数整数としてパースする方法を採っておられます。しかしその方法よりも整数演算を用いた方が効率的です。Stringのインスタンスを生成しないことでヒープの消費もありませんし、処理自体のスピードもずっと速いです。

short n = ...;
data[i] = (byte)n;
data[i] = (byte)(n >> 8);

Comments

[teraterm]

的確なご回答ありがとうございます。
試してみたところ、きれいに合成できました。