サンプルレートを変えた際にノイズが入る

Question

実現したいこと

Go言語で音声ファイルを読み込んでサンプルレートを48000から8000に変更してchunkで送信したい。

前提

Go言語で音声ファイルを読み込んでその音声をchunkで送信したいのですが、その際にchunkごとにサンプルレートを変更して送信しています。
そうすると、時々ノイズが入ったり音声が二重に聞こえたりします。

import "github.com/zaf/resample"

var buf bytes.Buffer
res, err := resample.New(&buf, float64(48000), float64(8000), 1, resample.I16, resample.HighQ)

上記のchunkごとにサンプルレートを変更せずに読み込んだデータのサンプルレートを一気に変更して送信すると問題なく聞き取れます。

おそらくchunkごとにサンプルレートを変更する際に最後の方のデータが抜け落ちて、次に来る音声とうまく噛み合わないのかもしれません。この場合だとサンプルレートを48000から8000に変更する際にどのようにchunkを区切るのが良いのでしょうか？

もしくは他に原因があるのでしょうか？

https://github.com/zaf/resample

サンプルレートの変更には上記のライブラリを使っていますが、他にGo言語でサンプルレートを変更する良い方法があれば教えてくださると幸いです。

Comments

[kikukiku]

おそらくですが、
音声の存在する部分で区切った上でサンプルレートを下げると
発生する場合があるのだと思います。
よって、先に区切りたいのであるならば音声がない部分で区切る必要があると思います。
音声のある部分でも区切りたいのであれば、
一気に変換した結果を区切れば、良いと思います。

[kikukiku]

音声がある部分でも区切った上でサンプルレートを下げることも理論上はできます。
その場合、区切る部分に音声がないようにするために、窓関数（フィルタ）をかけた上で
サンプルレートを下げることになりますが、当然音は劣化する可能性があります。

[kikukiku]

なぜ音がある部分で区切ると、ノイズが入るかの説明はできますが
音声処理の基礎知識がないと理解できないため、ここでは説明しません。

[kikukiku]

ちなみに、サンプルレートを下げるだけでも、音声は劣化します。
高音が表現できなくなります。

[lkl191]

コメントありがとうございます。
では、音声のない部分というのはどのように判断すれば良いのでしょうか？

[kikukiku]

当方は、Go言語の専門家ではなく、音声処理の専門家になります。
よって、具体的なプログラムの話に関してはアドバイスできません。
他の方の回答を待ってください。
音声のない部分を探すライブラリなどを探してみてはどうでしょうか？

また、一気にサンプルレートを下げてから分割すれば問題ないと
思うのでこちらで実装してみたらどうでしょう。

[kikukiku]

無音検出のアルゴリズムとしては、音声のパワーを計算し、一定時間しきい値以下が
続いたらその区間が無音であると判定すれば良いと思います。
※しきい値は背景音があった場合の対処として必要です。

Answer 1

リサンプルですがその組み合わせ限定ですが６個ずつの平均値に変換するという手もあります。
（もちろん、６個未満のデータは次のデータが読めるところまで持ち越すという処理は必要です）

追記

区切り方を質問されていますが、はっきり言って（音声処理のプロでも苦労するほど）難関過ぎて区切るのはお勧めしません。
一通りの処理が終わるまでストリーミングを「区切らない」が正解です。

Resamplerも入力も出力も一度インスタンスを作ったら、一通りのデータ処理が終わるまで使いまわしましょう。

また、chunkedエンコードのことを言っているのならGoのサーバーはContent-Lengthを付けないようにしつつレスポンス全体の処理を繰り返しResponseWriterに書き込むことで自動的にchunkedエンコードでレスポンスを組み立ててくれます。

あと以下のコードが部分バッファ書き出しごとにあるとよいでしょう。

if flusher, ok := w.(http.Flusher); ok {
  flusher.Flush()
}

実例追記

このようにまとめてレスポンスを返すように組むと、chunkedエンコーディングでレスポンスが返る事を確認できましたし、ノイズもありませんでした。

https://go.dev/play/p/qkKllEZQH2r

package main

import (
	"fmt"
	"io"
	"log"
	"net/http"
	"os"

	"github.com/zaf/resample"
)

func index(w http.ResponseWriter, r *http.Request) {
	fmt.Fprintln(w, "index")
}

func handler(w http.ResponseWriter, r *http.Request) {
	input, err := os.Open("OUTPUT.raw")
	if err != nil {
		log.Print(err)
		http.Error(w, http.StatusText(http.StatusInternalServerError), http.StatusInternalServerError)
		return
	}
	res, err := resample.New(w, float64(48000), float64(8000), 1, resample.I16, resample.HighQ)
	if err != nil {
		log.Print(err)
		http.Error(w, http.StatusText(http.StatusInternalServerError), http.StatusInternalServerError)
		return
	}
	io.Copy(res, input)
}

func main() {
	http.HandleFunc("/", index)
	http.HandleFunc("/audio", handler)
	if err := http.ListenAndServe(":8080", nil); err != nil {
		log.Fatal(err)
	}
}

Comments

[nobonobo]

もしかするとHTTPサーバーは関係ないのかもしれませんが。
送信や受信がどういった対象間で行いたいものか説明を頂ければそれに対応できるかと思います。
ただ、音声データの扱いは連続性が重要です。勝手に切ったりする戦略が使えるのはかなり限定的です。
上記の部分チャンクを採りたいなら自作のio.WriterをResamplerに渡すとよいでしょう。

[nobonobo]

自作の例：
https://zenn.dev/nobonobo/articles/297dc5cbc554d6#writer%E7%B5%8C%E7%94%B1%E3%81%A7%E3%83%81%E3%83%A3%E3%83%B3%E3%82%AF%E6%8E%A1%E5%8F%96