pythonでfft時にエラーが出て困っています。

Question

前提・実現したいこと

cycleganで行った声質変換がノイズまみれだったのでhttps://watlab-blog.com/2019/05/20/spectrogram-piano/#STFTのサイトを参考に、fftをやり直していたのですが、以下のエラーが出て行き詰まってしまいました。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "C:/Users/mounf/PycharmProjects/fft/main.py", line 17, in <module>
    time_array, acf = function.hanning(time_array, Fs, N_ave)
  File "C:\Users\mounf\PycharmProjects\fft\function.py", line 35, in hanning
    data_array[i] = data_array[i] * han        # 窓関数をかける
ValueError: operands could not be broadcast together with shapes (4096,2) (4096,) 

該当のソースコード

♯ここからfunction.py
import numpy as np
from scipy import signal
from scipy import fftpack
import soundfile as sf

def wavload(path):
    data, samplerate = sf.read(path)
    return data, samplerate

# オーバーラップ処理
def ov(data, samplerate, Fs, overlap):
    Ts = len(data) / samplerate                     # 全データ長
    Fc = Fs / samplerate                            # フレーム周期
    x_ol = Fs * (1 - (overlap / 100))               # オーバーラップ時のフレームずらし幅
    N_ave = int((Ts - (Fc * (overlap / 100))) /\
                (Fc * (1 - (overlap / 100))))       # 抽出するフレーム数（平均化に使うデータ個数）

    array = []                                      # 抽出したデータを入れる空配列の定義

    # forループでデータを抽出
    for i in range(N_ave):
        ps = int(x_ol * i)                          # 切り出し位置をループ毎に更新
        array.append(data[ps:ps + Fs:1])            # 切り出し位置psからフレームサイズ分抽出して配列に追加
        final_time = (ps + Fs)/samplerate           #切り出したデータの最終時刻
    return array, N_ave, final_time                 # オーバーラップ抽出されたデータ配列とデータ個数、最終時間を戻り値にする


# 窓関数処理（ハニング窓）
def hanning(data_array, Fs, N_ave):
    han = signal.hann(Fs)                           # ハニング窓作成
    acf = 1 / (sum(han) / Fs)                       # 振幅補正係数(Amplitude Correction Factor)

    # オーバーラップされた複数時間波形全てに窓関数をかける
    for i in range(N_ave):
        data_array[i] = data_array[i] * han        # 窓関数をかける

    return data_array, acf


# FFT処理
def fft_ave(data_array, samplerate, Fs, N_ave, acf):
    fft_array = []
    fft_axis = np.linspace(0, samplerate, Fs)      # 周波数軸を作成
    a_scale = aweightings(fft_axis)                # 聴感補正曲線を計算

    # FFTをして配列にdBで追加、窓関数補正値をかけ、(Fs/2)の正規化を実施。
    for i in range(N_ave):
        fft_array.append(db\
                        (acf * np.abs(fftpack.fft(data_array[i]) / (Fs / 2))\
                        , 2e-5))

    fft_array = np.array(fft_array) + a_scale      # 型をndarrayに変換し、A特性をかける
    fft_mean = np.mean(fft_array, axis=0)          # 全てのFFT波形の平均を計算

    return fft_array, fft_mean, fft_axis

# リニア値からdBへ変換
def db(x, dBref):
    y = 20 * np.log10(x / dBref)                   # 変換式
    return y                                       # dB値を返す

# dB値からリニア値へ変換
def idb(x, dBref):
    y = dBref * np.power(10, x / 20)  # 変換式
    return y  # リニア値を返す

#聴感補正（A特性カーブ）
def aweightings(f):
    if f[0] == 0:
        f[0] = 1
    else:
        pass
    ra = (np.power(12194, 2) * np.power(f, 4)) / \
         ((np.power(f, 2) + np.power(20.6, 2)) * \
          np.sqrt((np.power(f, 2) + np.power(107.7, 2)) * \
                  (np.power(f, 2) + np.power(737.9, 2))) * \
          (np.power(f, 2) + np.power(12194, 2)))
    a = 20 * np.log10(ra) + 2.00
    return a
♯ここまでfunction.py
♯ここからmain.py
import function
import numpy as np
from matplotlib import pyplot as plt

path = 'a.wav'                       #ファイルパスを指定
data, samplerate = function.wavload(path)   #wavファイルを読み込む
x = np.arange(0, len(data)) / samplerate    #波形生成のための時間軸の作成

# Fsとoverlapでスペクトログラムの分解能を調整する。
Fs = 4096                                   # フレームサイズ
overlap = 75                                # オーバーラップ率

# オーバーラップ抽出された時間波形配列
time_array, N_ave, final_time = function.ov(data, samplerate, Fs, overlap)

# ハニング窓関数をかける
time_array, acf = function.hanning(time_array, Fs, N_ave)

# FFTをかける
fft_array, fft_mean, fft_axis = function.fft_ave(time_array, samplerate, Fs, N_ave, acf)

# スペクトログラムで縦軸周波数、横軸時間にするためにデータを転置
fft_array = fft_array.T

# ここからグラフ描画
# グラフをオブジェクト指向で作成する。
fig = plt.figure()
ax1 = fig.add_subplot(111)

# データをプロットする。
im = ax1.imshow(fft_array, \
                vmin = -10, vmax = 60,
                extent = [0, final_time, 0, samplerate], \
                aspect = 'auto',\
                cmap = 'jet')

# カラーバーを設定する。
cbar = fig.colorbar(im)
cbar.set_label('SPL [dBA]')

# 軸設定する。
ax1.set_xlabel('Time [s]')
ax1.set_ylabel('Frequency [Hz]')

# スケールの設定をする。
ax1.set_xticks(np.arange(0, 120, 2))
ax1.set_yticks(np.arange(0, 20000, 1000))
ax1.set_xlim(0, 14)
ax1.set_ylim(0, 4000)

# グラフを表示する。
plt.show()
plt.close()

試したこと

対応する次元は同じか1でなければいけない、というルールに反しているためだと考えたのですが、どうやってそれを直すかが分からず、困っています。

補足情報（FW/ツールのバージョンなど）

numpy==1.17.0
scipy==1.3.1
SoundFile==0.10.2
matplotlib==3.1.1

Answer 1

data, samplerate = function.wavload(path) #wavファイルを読み込む
と
x = np.arange(0, len(data)) / samplerate #波形生成のための時間軸の作成
の間に
♯ステレオ2chの場合、LchとRchに分割 data_l = data[:, 0] data_r = data[:, 1] ♯ 入力をモノラル化 data = (0.5 * data_l) + (0.5 * data_r)
を入れて解決しました。