discordjs v14にてボイスチャットの音声を正しく受け取れない

Question

実現したいこと

ボイスチャットにBOTを加入させて
他のユーザーの発言を文字起こしし
GPTに投げてその返答を音声化して喋らせたい

前提

環境：glitch
"discord.js": "^14.8.0",
"@discordjs/voice": "^0.15.0",

ボイスチャットの音声を文字起こしする事以外は出来た。
ボイスチャットを受信しPCMをWAVにエンコードした上で再生するとバチッと言う一瞬だけのノイズになってしまい
文字にならない

ボイスチャットにBOTを加入させてこちらの発言で発火する所までは出来たが
その内容が良くない。

該当のソースコード

connection.receiver.speaking.on('start', (userId) => {
  const audio = connection.receiver.subscribe(userId, {
    end: {
      behavior: EndBehaviorType.AfterSilence,
      duration: 1000,
    },
  });

  const audioChunks = [];

  audio.on('data', (chunk) => {
    audioChunks.push(chunk);
  });

  audio.on('end', async () => {
    
const audioBuffer = Buffer.concat(audioChunks);
    console.log('audio ended');
console.log(audio)
const pcmData = audioBuffer;
// WAV ファイルに変換する
const wavWriter = new wav.FileWriter('/tmp/output.wav', {
  channels: 2,
  sampleRate: 32000,
  bitDepth: 16
});

wavWriter.write(pcmData);
wavWriter.end();
以下その他GPT系の処理等々

疑ってる所

const audioChunks = [];

audio.on('data', (chunk) => {
audioChunks.push(chunk);
});
でそもそもPCMの収集はあってるのか？
この収集があってないからWAVに変換してもバチッと言うノイズだけになってしまっているのではないか？

// WAV ファイルに変換する
const wavWriter = new wav.FileWriter('/tmp/output.wav', {
channels: 2,
sampleRate: 32000,
bitDepth: 16
});
wavへの変換のヘッダのパラメータ等が誤っているのではないか？
以上です。

是非お力を貸していただきたいです。

Comments

[miyabi-sun]

ちゃんとした回答じゃないのでこっちにぶら下げます。

ストリーム使った方が良いんじゃないですかね？
https://scrapbox.io/discordjs-japan/%E9%9F%B3%E5%A3%B0%E3%82%92%E5%8F%97%E3%81%91%E5%8F%96%E3%82%8B
サンプルコードだとPCMで保存してるけど、このメソッドちゃんと調査したらダイレクトにwavで保存できるオプションあるんじゃないかな？しらんけど

パイプで繋いだストリーム制御できねーよってなると思うんですけど
最近Promise対応の「stream.finished」が追加された事で、
ここでストリームの完了待ちたいなーってタイミングで「await stream.finished(st);」とやれば止められます。
https://nodejs.org/api/stream.html#streamfinishedstream-options

StreamやPromiseの概念わかんねーってなったらChatGPTに質問攻めにすれば良いかと思います。

[re13]

コメントありがとうございます。
そちらの添付して頂いた記事のリンク先が404になっているのでv14では廃止されているのでは？と思います。

また、自分で調べた限りですが基本的にはPCMのみの管理でwavで保存する事は出来ないようです。

var filename = '/tmp/'.concat(Date.now(), '-').concat(userId, '.txt');
var out = fs.createWriteStream(filename);

stream.pipeline(audio, out, function (err) {
if (err) {
console.warn(`❌ Error recording file ${filename} - ${err.message}`);
} else {
console.log(`✅ Recorded ${filename}`);
fs.readFile(filename, 'binary', (err, data) => {
if (err) throw err;
const audioBuffer = Buffer.from(data, 'binary');
const pcmData = audioBuffer;
console.log('audio ended');
console.log(audioBuffer);
// WAV ファイルに変換する
const wavWriter = new wav.FileWriter('/tmp/output2.wav', {
channels: 2,
bitDepth: 16,
sampleRate: 48000,
clearInterval: 250,
});

wavWriter.write(pcmData);
wavWriter.end();
}
);
}
});
一旦この様な形で修正してみましたがいぜん状況は変わらずでした。

Answer 1

無事解決したので、クローズします。
解決させた内容は記事にしました。
ただ他に問題も抱えているのでまた質問させていただくかもしれません。
よろしくお願いします。

https://zenn.dev/ss_2013/articles/ab3dfd73513afb