「スペクトラルノイズ除去による雑音除去」による音声再生

Question

前提・実現したいこと

「スペクトラルノイズ除去による雑音除去」
https://www.ai-shift.co.jp/techblog/1305

のサイトから、ノイズ部分と音源分離後の音声データを書き込んだ後に
音声を再生したいと思っています。プログラム上だとSound Envelopがノイズ部分、
recovered_signalが音源分離後の音声？のはずです。この2つをwavファイルにすればできると思うのですがその方法を教えてほしいです。

下記のソースコードは、webサイトのプログラムを一部書き加えてあります。

該当のソースコード

!pip install librosa

import numpy as np
from scipy.ndimage import maximum_filter1d

def envelope(y, rate, threshold):
    """
    Args:
        - y: 信号データ
        - rate: サンプリング周波数
        - threshold: 雑音判断するしきい値
    Returns:
        - mask: 振幅がしきい値以上か否か
        - y_mean: Sound Envelop
    """
    y_mean = maximum_filter1d(np.abs(y), mode="constant", size=rate//20)
    mask = [mean > threshold for mean in y_mean]
    return mask, y_mean

import librosa


n_fft=2048  # STFTカラム間の音声フレーム数
hop_length=512  # STFTカラム間の音声フレーム数
win_length=2048  # ウィンドウサイズ
n_std_thresh=1.5  # 信号とみなされるために、ノイズの平均値よりも大きい標準偏差（各周波数レベルでの平均値のdB）が何個あるかのしきい値

def _stft(y, n_fft, hop_length, win_length):
    return librosa.stft(y=y, n_fft=n_fft, hop_length=hop_length, win_length=win_length)

def _amp_to_db(x):
    return librosa.core.amplitude_to_db(x, ref=1.0, amin=1e-20, top_db=80.0)



sample_rate= 32000

# 音声ファイルの読み込み
#noise_clip = open(r"C:\Users\1818067\birdvoice.wav")

path=r'C:\Users\1818067\birdvoice.wav'
sig, _ = librosa.load(path, sr=sample_rate)

# ノイズデータ取得
mask, noise_clip = envelope(sig, sample_rate, threshold=0.03)




noise_stft = _stft(noise_clip, n_fft, hop_length, win_length)
noise_stft_db = _amp_to_db(np.abs(noise_stft))  # dBに変換する
   
mean_freq_noise = np.mean(noise_stft_db, axis=1)
std_freq_noise = np.std(noise_stft_db, axis=1)
noise_thresh = mean_freq_noise + std_freq_noise * n_std_thresh

import librosa
from envelop import envelope
import scipy


n_grad_freq = 2  # マスクで平滑化する周波数チャンネルの数
n_grad_time = 4  # マスクを使って滑らかにする時間チャンネル数
prop_decrease = 1.0  # ノイズをどの程度減らすか


#data = open(r'C:\Users\1818067\birdvoice.wav')
#audio_clip = envelope(data).envelop

sample_rate= 32000

# 音声ファイルの読み込み
#noise_clip = open(r"C:\Users\1818067\birdvoice.wav")

path=r'C:\Users\1818067\birdvoice.wav'
sig, _ = librosa.load(path, sr=sample_rate)

# ノイズデータ取得
audio_clip, rate = librosa.load('birdvoice.wav')


# 音源もSTFTで特徴量抽出する
sig_stft = _stft(audio_clip, n_fft, hop_length, win_length)
sig_stft_db = _amp_to_db(np.abs(sig_stft))

# 時間と頻度でマスクの平滑化フィルターを作成
smoothing_filter = np.outer(
        np.concatenate(
            [
                np.linspace(0, 1, n_grad_freq + 1, endpoint=False),
                np.linspace(1, 0, n_grad_freq + 2),
            ]
        )[1:-1],
        np.concatenate(
            [
                np.linspace(0, 1, n_grad_time + 1, endpoint=False),
                np.linspace(1, 0, n_grad_time + 2),
            ]
        )[1:-1],
    )
smoothing_filter = smoothing_filter / np.sum(smoothing_filter)

# 時間と周波数のしきい値の計算
db_thresh = np.repeat(
        np.reshape(noise_thresh, [1, len(mean_freq_noise)]),
        np.shape(sig_stft_db)[1],
        axis=0,
    ).T
sig_mask = sig_stft_db < db_thresh
sig_mask = scipy.signal.fftconvolve(sig_mask, smoothing_filter, mode="same")
sig_mask = sig_mask * prop_decrease

mask_gain_dB = np.min(_amp_to_db(np.abs(sig_stft)))

def _db_to_amp(x,):
    return librosa.core.db_to_amplitude(x, ref=1.0)

sig_stft_db_masked = (
        sig_stft_db * (1 - sig_mask)
        + np.ones(np.shape(mask_gain_dB)) * mask_gain_dB * sig_mask
)

def _istft(y, hop_length, win_length):
    return librosa.istft(y, hop_length, win_length)

sig_imag_masked = np.imag(sig_stft) * (1 - sig_mask)
sig_stft_amp = (_db_to_amp(sig_stft_db_masked) * np.sign(sig_stft)) + (1j * sig_imag_masked)

recovered_signal = _istft(sig_stft_amp, hop_length, win_length)

Comments

[jbpb0]

このあたり？
https://water2litter.net/rum/post/python_scipy_wavfile_write/
https://watlab-blog.com/2019/10/23/wav-mono-stereo/