Pythonでスペクトログラムを表示させる

Question

#前提・実現したいこと
Pythonでフォルダ内全wavをスペクトログラムに変換してみた
上記のサイト様のコードを参考に、Pythonを用いてスペクトログラムを表示させ、出力された画像を保存したいと考えております。

#発生している問題・エラーメッセージ
エラーメッセージは以下のようになっております。

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-19-110c9d249555> in <module>
     38 # フォルダ内の全wavファイルをスペクトログラム画像にするループ--------------------------------------------
     39 for i in range(len(path_list)):
---> 40     fft_array, fft_axis, final_time, samplerate = stft(path_list[i], Fs, overlap)   # STFT計算の関数を実行
     41 
     42     # データをプロットする。

<ipython-input-19-110c9d249555> in stft(path, Fs, overlap)
     12     time_array, N_ave, final_time = function.ov(data, samplerate, Fs, overlap)
     13     # ハニング窓関数をかける
---> 14     time_array, acf = function.hanning(time_array, Fs, N_ave)
     15     # FFTをかける
     16     fft_array, fft_mean, fft_axis = function.fft_ave(time_array, samplerate, Fs, N_ave, acf)

~/Desktop/spectrogram/function.py in hanning(data_array, Fs, N_ave)
     36     # オーバーラップされた複数時間波形全てに窓関数をかける
     37     for i in range(N_ave):
---> 38         data_array[i] = data_array[i] * han         # 窓関数をかける
     39 
     40     return data_array, acf

ValueError: operands could not be broadcast together with shapes (4096,2) (4096,) 

#コード

import function
import numpy as np
import glob
import os
from matplotlib import pyplot as plt
 
def wavload(path):
    data, samplerate = sf.read(path)
    if len(data.shape) == 2:
        return data[:, 0], samplerate
    return data, samplerate

# STFT計算の関数
def stft(path, Fs, overlap):
    # wavファイルを読み込む(縦軸の校正はしていない)
    data, samplerate = function.wavload(path)
    # オーバーラップ抽出された時間波形配列
    time_array, N_ave, final_time = function.ov(data, samplerate, Fs, overlap)
    # ハニング窓関数をかける
    time_array, acf = function.hanning(time_array, Fs, N_ave)
    # FFTをかける
    fft_array, fft_mean, fft_axis = function.fft_ave(time_array, samplerate, Fs, N_ave, acf)
    # スペクトログラムで縦軸周波数、横軸時間にするためにデータを転置
    fft_array = fft_array.T
    return fft_array, fft_axis, final_time, samplerate
 
# 設定---------------------------------------------------------------------------------------------------
dir = 'wav'                                          # 複数のwavファイルを入れたフォルダを指定する
dir_out = os.path.join(*[dir, 'spectrogram'])        # スペクトログラム画像を保存するフォルダ                     #
if os.path.exists(dir_out) == 0:                     # spectrogramフォルダが無い場合はフォルダを新規作成
    os.mkdir(dir_out)
else:
    pass
path_list = glob.glob(dir + '*.wav')                # フォルダ内全wavファイルのパスを検索する               
 
Fs = 4096                                            # FFT時のフレームサイズ
overlap = 75                                         # FFT時のオーバーラップ率
 
# forループ前にグラフオブジェクトを作成しておく
fig = plt.figure()
ax1 = fig.add_subplot(111)
# -------------------------------------------------------------------------------------------------------
 
# フォルダ内の全wavファイルをスペクトログラム画像にするループ--------------------------------------------
for i in range(len(path_list)):
    fft_array, fft_axis, final_time, samplerate = stft(path_list[i], Fs, overlap)   # STFT計算の関数を実行
 
    # データをプロットする。
    im = ax1.imshow(fft_array,
                    vmin=-10, vmax=60,                      # 色の物理値範囲（データにより調整必要）
                    extent=[0, final_time, 0, samplerate],  # 横軸(時間軸)設定
                    aspect='auto',                          # 縦横比
                    cmap='jet')                             # 色の種類
 
    # カラーバーを設定する（初回のみ）。
    if i == 0:
        cbar = fig.colorbar(im)
        cbar.set_label('SPL [dBA]')
    else:
        pass
 
    # 軸設定する。
    ax1.set_xlabel('Time [s]')
    ax1.set_ylabel('Frequency [Hz]')
 
    # スケールの設定をする。
    ax1.set_yticks(np.arange(0, 20000, 1000))
    ax1.set_ylim(0, 4000)
 
    file = os.path.basename(path_list[i])                   # 拡張子ありファイル名を取得
    name, ext = os.path.splitext(file)                      # 拡張子なしファイル名と拡張子を取得
    ext = '.png'                                            # 拡張子を画像ファイル(.png)に変更
    out_path = os.path.join(*[dir_out, name + ext])         # 画像ファイル保存パスを作成
 
    # 画像を保存する
    plt.savefig(out_path, bbox_inches='tight')
    print(str(i+1) + ' done...')                            # 計算中がわかるように一応いれとく
print('Finish calculation')                                 # 計算終了の合図
# -------------------------------------------------------------------------------------------------------

#試していること
Pythonでフォルダ内全wavをスペクトログラムに変換してみた
上記のサイト様の通りにデータを配置したり、名前を変更したりしているのですがなかなか上手くいきません。エラーメッセージについても自分なりに調査をしているのですが、コードをどのように変更すればいいのか、全くわからない状況です。もしくは元のwavファイルに原因があるのではないかと考えております。何かご助言をいただけたら幸いです。

#補足
使っているPCはmacOS Sierra バージョン10.12.6
Pythonのバージョンは3.6.5です

Answer 1

wavファイルがステレオなのかモノラルなのかの違いです。おそらくリンク先のURLはモノラルを前提としています。

一番簡単な対処方法は、ステレオだった場合にチャンネルを1つだけ使う方法です。

def wavload(path):
    data, samplerate = sf.read(path, always_2d=True)
    return data[:, 0], samplerate

Comments

[maguro2020]

ご回答いただきありがとうございます。yymmt様。
ただいまyymmmt様のコードを追加し実行致しましたところ、
SyntaxError: invalid syntax
というエラーメッセージが発生してしまったため、コードを少し変更し
def wavload(path):
data, samplerate = sf.read(path)
if len(data.shape) == 2:
return data[:, 0], samplerate
return data, samplerate #returnを一つ減らしてみました
というふうに変更いたしましたところ、質問のときと同じエラーメッセージが発生するようになってしまいました。まだ調査中ではありますが、yymmmt様のコードを追加したコードを念のため下記に記載いたします。
import function
import numpy as np
import glob
import os
from matplotlib import pyplot as plt

def wavload(path):
data, samplerate = sf.read(path)
if len(data.shape) == 2:
return data[:, 0], samplerate
return data, samplerate

# STFT計算の関数
def stft(path, Fs, overlap):
# wavファイルを読み込む(縦軸の校正はしていない)
data, samplerate = function.wavload(path)
# オーバーラップ抽出された時間波形配列
time_array, N_ave, final_time = function.ov(data, samplerate, Fs, overlap)
# ハニング窓関数をかける
time_array, acf = function.hanning(time_array, Fs, N_ave)
# FFTをかける
fft_array, fft_mean, fft_axis = function.fft_ave(time_array, samplerate, Fs, N_ave, acf)
# スペクトログラムで縦軸周波数、横軸時間にするためにデータを転置
fft_array = fft_array.T
return fft_array, fft_axis, final_time, samplerate

# 設定---------------------------------------------------------------------------------------------------
dir = 'wav' # 複数のwavファイルを入れたフォルダを指定する
dir_out = os.path.join(*[dir, 'spectrogram']) # スペクトログラム画像を保存するフォルダ #
if os.path.exists(dir_out) == 0: # spectrogramフォルダが無い場合はフォルダを新規作成
os.mkdir(dir_out)
else:
pass
path_list = glob.glob( 'wav/*.wav') # フォルダ内全wavファイルのパスを検索する

Fs = 4096 # FFT時のフレームサイズ
overlap = 75 # FFT時のオーバーラップ率

# forループ前にグラフオブジェクトを作成しておく
fig = plt.figure()
ax1 = fig.add_subplot(111)
# -------------------------------------------------------------------------------------------------------

# フォルダ内の全wavファイルをスペクトログラム画像にするループ--------------------------------------------
for i in range(len(path_list)):
fft_array, fft_axis, final_time, samplerate = stft(path_list[i], Fs, overlap) # STFT計算の関数を実行

# データをプロットする。
im = ax1.imshow(fft_array,
vmin=-10, vmax=60, # 色の物理値範囲（データにより調整必要）
extent=[0, final_time, 0, samplerate], # 横軸(時間軸)設定
aspect='auto', # 縦横比
cmap='jet') # 色の種類

# カラーバーを設定する（初回のみ）。
if i == 0:
cbar = fig.colorbar(im)
cbar.set_label('SPL [dBA]')
else:
pass

# 軸設定する。
ax1.set_xlabel('Time [s]')
ax1.set_ylabel('Frequency [Hz]')

# スケールの設定をする。
ax1.set_yticks(np.arange(0, 20000, 1000))
ax1.set_ylim(0, 4000)

file = os.path.basename(path_list[i]) # 拡張子ありファイル名を取得
name, ext = os.path.splitext(file) # 拡張子なしファイル名と拡張子を取得
ext = '.png' # 拡張子を画像ファイル(.png)に変更
out_path = os.path.join(*[dir_out, name + ext]) # 画像ファイル保存パスを作成

# 画像を保存する
plt.savefig(out_path, bbox_inches='tight')
print(str(i+1) + ' done...') # 計算中がわかるように一応いれとく
print('Finish calculation') # 計算終了の合図
# -------------------------------------------------------------------------------------------------------

[yymmt]

すいません、return消しておきます。どこかで挿入されてしまったようです。

[maguro2020]

重ね重ねお答えいただきありがとうございます。
yymmmt様のコードを追加させていただいた上で質問のコードの編集を行いました。同じエラーが発生してしまったということは自分のコードの挿入場所が悪いということなのでしょうか？

[yymmt]

私の知らないwav形式があるのかも知れません。wav集めて調べてみます。

[maguro2020]

いえいえ！失礼いたしました。yymmt様にお答えいただけるだけでもこちらとしては十分にありがたいことですので、自分でも頑張って調査を続けてみたいと思います。

[yymmt]

こちらではどうでしょう？問題なければ本文の方を直します。
def wavload(path):
data, samplerate = sf.read(path, always_2d=True)
return data[:, 0], samplerate

[maguro2020]

自分の所持しているwavファイルをpcm形式に変換してみたりしたのですが、やはり同じエラーが発生してしまいました。また、yymmt様に描いていただいたコードに変更してみたところ、
File "<ipython-input-64-88c23396be22>", line 2
data, samplerate = sf.read(path, always_2d=True)
^
IndentationError: expected an indented block
上記のようなエラーが発生してしまいました。
おそらくですが、元のサイト様にある「function.py」のコードに問題があるのではないか、と私は考えております。（function.pyのコードはサイト様にあるものをそのままコピーしただけです。）
もう少し自分で調査をしてみたいと思います。

[yymmt]

ここに張り付けるとブロックが崩れるのでそのままでは・・・。本文の方を直しておきます。

[yymmt]

こちらでも試してみましたが、普通に描画されました。何が違うんでしょう。

[maguro2020]

yymmt様、わざわざ試していただきありがとうございます。
やはり私の方で何か別の問題が発生してるようですので、もう少し自力で頑張ってみたいと思います。今回はお忙しい中、私の質問に答えてくださりありがとうございました。本当に助かりました。

[maguro2020]

yymmt様。最後に気になった点がございましたので、お耳に挟んでいただければと思います。
コードの途中にある「#設定」の
path_list = glob.glob(dir + '*.wav')
が元のサイト様のコードでした。確かにこのまま実行すればエラーメッセージは発生しませんでした。しかし描画もされないため、なぜだろうとpath_listの中身を確認いたしましたところ、出力結果が
print(path_list)
#[]
となっており、中身が空っぽでした。そしてスラッシュとバックスラッシュに違いがあることを現在、初めて認知いたしました。そこでコードを少し改良し、
path_list = glob.glob(dir + '/*.wav')
といたしましたところ、エラーメッセージは発生してしまうのですが、path_listの中身はきちんと指定したwavファイルが入っておりました。余計なお世話かもしれませんが、ここにヒントがあるのではないかと現在調査をしております。長文失礼いたしました。