2つのPCM音源を1つのwaveファイルに録音したい

A端末(Android)およびB端末(Windows)から送られてくるPCM音源(waveデータ？)を合成して1つのwaveファイルとして録音したいと考えています。

B端末からパケットで送られてきた音源＋A端末のマイクからの音源→A端末内にwaveファイルとして保存
A端末からパケットで送られてきた音源＋B端末のマイクからの音源→B端末内にwaveファイルとして保存

上記のように、Androidでの保存、Windowsでの保存を行おうとしています。

AndroidではAudioRecordから取得したマイクの音源、WindowsではWaveInEventから取得したマイクの音源を利用しています。
それぞれをSignalRで送信し、受信側で録音しようとしています。

パケットとマイク音源をそれぞれのコールバックが呼ばれた段階でwaveファイルに流しても合成ではないので音飛びが発生してしまいます。
2つの音源を合成するには、フーリエ変換して波形を合算して、、、等の波形処理を行う以外ないのでしょうか？
JavaおよびC#で音源を合成してくれるようなライブラリはありませんでしょうか？
ライブラリはできればフリーのものを考えています。

他に必要な情報があればご提示させていただきます。
どうぞよろしくお願いいたします。