Python3で音の識別を行いたい

Question

前提・実現したいこと

はてなブログ Webデータレポート 生活音を機械学習してみた

上記のリンクを参考にPython3を用いて、音声（wav）の機械学習をしたいと考えております。wavファイルのスペクトグラムや振幅の表示はできたのですが、MFCC(メル周波数ケプストラム係数)のあたりから上手くいかず、wavファイルからベクトルを生成することができません。

発生している問題・エラーメッセージ

Error: unknown format: 65534

該当のソースコード

#coding:utf-8
import wave
import numpy as np
import scipy.signal
import scipy.fftpack
import scipy.fftpack.realtransforms
import scipy.io.wavfile

def wavread(filename):
    wf = wave.open(filename, "r")
    fs = wf.getframerate()
    x = wf.readframes(wf.getnframes())
    x = np.frombuffer(x, dtype="int16") / 32768.0  # (-1, 1)に正規化
    wf.close()
    return x, float(fs)

def hz2mel(f):
    """Hzをmelに変換"""
    return 1127.01048 * np.log(f / 700.0 + 1.0)

def mel2hz(m):
    """melをhzに変換"""
    return 700.0 * (np.exp(m / 1127.01048) - 1.0)

def melFilterBank(fs, nfft, numChannels):
    """メルフィルタバンクを作成"""
    # ナイキスト周波数（Hz）
    fmax = fs / 2
    # ナイキスト周波数（mel）
    melmax = hz2mel(fmax)
    # 周波数インデックスの最大数
    nmax = nfft / 2
    # 周波数解像度（周波数インデックス1あたりのHz幅）
    df = fs / nfft
    # メル尺度における各フィルタの中心周波数を求める
    dmel = melmax / (numChannels + 1)
    melcenters = np.arange(1, numChannels + 1) * dmel
    # 各フィルタの中心周波数をHzに変換
    fcenters = mel2hz(melcenters)
    # 各フィルタの中心周波数を周波数インデックスに変換
    indexcenter = np.round(fcenters / df)
    # 各フィルタの開始位置のインデックス
    indexstart = np.hstack(([0], indexcenter[0:numChannels - 1]))
    # 各フィルタの終了位置のインデックス
    indexstop = np.hstack((indexcenter[1:numChannels], [nmax]))

    filterbank = np.zeros((numChannels, nmax))
    for c in np.arange(0, numChannels):
        # 三角フィルタの左の直線の傾きから点を求める
        increment= 1.0 / (indexcenter[c] - indexstart[c])
        for i in np.arange(indexstart[c], indexcenter[c]):
            i=int(i)
            filterbank[c, i] = (i - indexstart[c]) * increment
        # 三角フィルタの右の直線の傾きから点を求める
        decrement = 1.0 / (indexstop[c] - indexcenter[c])
        for i in np.arange(indexcenter[c], indexstop[c]):
            i=int(i)
            filterbank[c, i] = 1.0 - ((i - indexcenter[c]) * decrement)

    return filterbank, fcenters

def preEmphasis(signal, p):
    """プリエンファシスフィルタ"""
    # 係数 (1.0, -p) のFIRフィルタを作成
    return scipy.signal.lfilter([1.0, -p], 1, signal)

def mfcc(signal, nfft, fs, nceps):
    """信号のMFCCパラメータを求める
    signal: 音声信号
    nfft  : FFTのサンプル数
    nceps : MFCCの次元"""
    # プリエンファシスフィルタをかける
    p = 0.97         # プリエンファシス係数
    signal = preEmphasis(signal, p)

    # ハミング窓をかける
    hammingWindow = np.hamming(len(signal))
    signal = signal * hammingWindow

    # 振幅スペクトルを求める
    spec = np.abs(np.fft.fft(signal, nfft))[:nfft/2]
    fscale = np.fft.fftfreq(nfft, d = 1.0 / fs)[:nfft/2]

    # メルフィルタバンクを作成
    numChannels = 20  # メルフィルタバンクのチャネル数
    df = fs / nfft   # 周波数解像度（周波数インデックス1あたりのHz幅）
    filterbank, fcenters = melFilterBank(fs, nfft, numChannels)


    # 定義通りに書いた場合
    # 振幅スペクトルに対してフィルタバンクの各フィルタをかけ、振幅の和の対数をとる
    mspec = np.log10(np.dot(spec, filterbank.T))


    # 離散コサイン変換
    ceps = scipy.fftpack.realtransforms.dct(mspec, type=2, norm="ortho", axis=-1)

    # 低次成分からnceps個の係数を返す
    return ceps[:nceps]

#wavファイルと次元数を入れてMFCCを抽出
#   nfft:FFTのサンプル数　1024, 2048, 4096
#   nceps:MFCCの次元数　大体12次元が多い
#   ※ fs * cuttime >= nfft/2 を満たす値を与えなければいけない
def get_feature(wavfile,nfft,nceps):
    # 音声をロード
    wav, fs = wavread(wavfile)
    t = np.arange(0.0, len(wav) / fs, 1/fs)
    
    # 音声波形の中心部分を切り出す
    center = len(wav) / 2  # 中心のサンプル番号
    cuttime = 0.8         # 切り出す長さ [s]
    wavdata = wav[int(center - cuttime/2*fs) : int(center + cuttime/2*fs)]
    
    ceps = mfcc(wavdata, nfft, fs, nceps)
    return ceps.tolist()

if __name__ == "__main__":
    wavfile= "call01.wav" #1
    nfft=2048
    nceps=12
    tmp = get_feature(wavfile,nfft,nceps)
    print (tmp) #2

試したこと

前回の質問より、ほとんどリンク元のコードのまま実行してみました。変更点といたしましては、下から5行目（＃１）と1行目（＃２）のコードの
1.参照するファイル名の変更
2.printに()をつけたこと。（リンク元のコードがPython2.7のため）
を行いました。

少し調べてみたところ、
Why GitHub? wave.Error: unknown format: 65534 #129
上記でも似たようなエラーで困っている人を見つけ、色々とコードをいじってみてはいるのですが、上手くいきません。

補足情報（FW/ツールのバージョンなど）

Python3.6.5です

Comments

[meg_]

・リンクは「リンクの挿入」で記入してください。
・コードは「コードの挿入」で記入してください。

[maguro2020]

大変失礼いたしました。質問を編集いたしました。

[meg_]

「上から８行目のdef wavread(filename):をdef wavread():に書き換えました。」とありますが、何故書き換えたのですか？　エラーはエラーメッセージの通りです。

[meg_]

それから、エラーメッセージは可能な限り全文載せてください。（ユーザー名等は隠してもらって構いません）

[maguro2020]

元のdef wavread(filename):の「filename」のところを'call01.wav'に変更いたしましたところ、
SyntaxError: invalid syntax
というエラーメッセージが表示され、「filename」のままですと
NameError: name 'wf' is not defined
と表示されたため、書き換えを行いました。
Python以前に、自分のプログラミングの知識不足で「引数」がどの部分なのかもわからず、未だにコードを調べている途中でした。中途半端かつわかりづらい質問をしてしまい申し訳ありません。もう少し自分で調べてみたいと思います。

[meg_]

「Error: unknown format: 65534」
上記はエラーメッセージの全文ですか？

[maguro2020]

「Error: unknown format: 65534」の上記にはとても細かく約56行ほどのコードが出てきており、
'''#コード
Error Traceback (most recent call last)
<ipython-input-134-fdf415abea31> in <module>
3 nfft=2048
4 nceps=12
----> 5 tmp = get_feature(wavfile,nfft,nceps)
6 print (tmp)

<ipython-input-132-13313078b2d6> in get_feature(wavfile, nfft, nceps)
5 def get_feature(wavfile,nfft,nceps):
6 # 音声をロード
----> 7 wav, fs = wavread(wavfile)
8 t = np.arange(0.0, len(wav) / fs, 1/fs)
9

<ipython-input-130-fbc23ac4b9eb> in wavread(filename)
1 def wavread(filename):
----> 2 wf = wave.open(filename, "r")
3 fs = wf.getframerate()
4 x = wf.readframes(wf.getnframes())
5 x = np.frombuffer(x, dtype="int16") / 32768.0 # (-1, 1)に正規化

~/.pyenv/versions/3.6.5/lib/python3.6/wave.py in open(f, mode)
497 mode = 'rb'
498 if mode in ('r', 'rb'):
--> 499 return Wave_read(f)
500 elif mode in ('w', 'wb'):
501 return Wave_write(f)

~/.pyenv/versions/3.6.5/lib/python3.6/wave.py in __init__(self, f)
161 # else, assume it is an open file object already
162 try:
--> 163 self.initfp(f)
164 except:
165 if self._i_opened_the_file:

~/.pyenv/versions/3.6.5/lib/python3.6/wave.py in initfp(self, file)
141 chunkname = chunk.getname()
142 if chunkname == b'fmt ':
--> 143 self._read_fmt_chunk(chunk)
144 self._fmt_chunk_read = 1
145 elif chunkname == b'data':

~/.pyenv/versions/3.6.5/lib/python3.6/wave.py in _read_fmt_chunk(self, chunk)
258 self._sampwidth = (sampwidth + 7) // 8
259 else:
--> 260 raise Error('unknown format: %r' % (wFormatTag,))
261 self._framesize = self._nchannels * self._sampwidth
262 self._comptype = 'NONE'

　Error: unknown format: 65534 '''
となっております。見づらくなってしまい申し訳ありません。

Answer 1

def wavread(): #1
    wf = wave.open('call01.wav', "r") #2

def get_feature(wavfile,nfft,nceps):
    # 音声をロード
    wav, fs = wavread('call01.wav')

を元に戻しましょう。

def wavread(filename):
    wf = wave.open(filename, "r")

def get_feature(wavfile,nfft,nceps):
    # 音声をロード
    wav, fs = wavread(wavfile)

参照元のコードのままでエラーが出る場合は、そのときにまた質問してください。

Comments

[maguro2020]

わざわざ回答していただき、ありがとうございます。ほとんどリンク元のコードで実行致しましたところ、エラーが発生いたしましたので、質問を編集しました。

[meg_]

もしかしたら下記質問の回答が該当しませんか？
https://teratail.com/questions/87433

[meg_]

最初の質問に書いてあったかと思いましたが、scipy.io.wavfileの方で読み込みできそうですね。
参考：https://github.com/jiaaro/pydub/issues/134　※fnielsenさんの回答のところ

[maguro2020]

返信が遅れてしまい申し訳ありません。wavファイルの解析を行なっていましたところ、call01.wavからcall07.wavの7つのファイルが私の手元にあるのですが、7つのファイルのうち、call01.wavとcall02.wavのファイルだけが96kHzでPCM形式に変換することができませんでした。call05.wavだけは48kHzでしたが、あとのファイルは44.1kHzでしたのでPCM形式に変換することができました。変換は下記のサイト様を使わせていただきました。
https://www.petitmonte.com/labo/wave-format/

とりあえず、call01.wavとcall02.wavは置いておいて他のファイルでコードの実行を試みましたところ、
TypeError: slice indices must be integers or None or have an __index__ method
というエラーが発生し、下記のサイト様より少し調べておりました。
https://teratail.com/questions/76964
どうやらPython3では「/」では実数除算らしく「//」を用いたほうが良いとのことで、コードのどこを変化させれば良いのかで頭を悩ませております。

[meg_]

どの行で「TypeError: slice indices must be integers or None or have an __index__ method」のエラーが発生しているのでしょうか？
※情報がないとこちらでは何も分かりません。

[maguro2020]

返信遅くなり申し訳ありません。エラーメッセージの全文を記載いたします。
TypeError Traceback (most recent call last)
<ipython-input-211-861046850ea1> in <module>
3 nfft=2048
4 nceps=12
----> 5 tmp = get_feature(wavfile,nfft,nceps)
6 print (tmp)

<ipython-input-210-78439af9a47a> in get_feature(wavfile, nfft, nceps)
13 wavdata = wav[int(center - cuttime/2*fs) : int(center + cuttime/2*fs)]
14
---> 15 ceps = mfcc(wavdata, nfft, fs, nceps)
16 return ceps.tolist()

<ipython-input-209-f7a2f4347928> in mfcc(signal, nfft, fs, nceps)
63
64 # 振幅スペクトルを求める
---> 65 spec = np.abs(np.fft.fft(signal, nfft))[:nfft/2]
66 fscale = np.fft.fftfreq(nfft, d = 1.0 / fs)[:nfft/2]
67

TypeError: slice indices must be integers or None or have an __index__ method

[meg_]

fscale = np.fft.fftfreq(nfft, d = 1.0 / fs)[:nfft/2] を fscale = np.fft.fftfreq(nfft, d = 1.0 / fs)[:nfft//2] にすれば良いでしょう。

[maguro2020]

お答えいただきありがとうございます。自分もそのように描けば動くのではないかと思い実行致しましたところ、
TypeError Traceback (most recent call last)
<ipython-input-234-861046850ea1> in <module>
3 nfft=2048
4 nceps=12
----> 5 tmp = get_feature(wavfile,nfft,nceps)
6 print (tmp)

<ipython-input-233-78439af9a47a> in get_feature(wavfile, nfft, nceps)
13 wavdata = wav[int(center - cuttime/2*fs) : int(center + cuttime/2*fs)]
14
---> 15 ceps = mfcc(wavdata, nfft, fs, nceps)
16 return ceps.tolist()

<ipython-input-232-015e65042c92> in mfcc(signal, nfft, fs, nceps)
64 # 振幅スペクトルを求める
65 spec = np.abs(np.fft.fft(signal, nfft))[:nfft//2]
---> 66 fscale = np.fft.fftfreq(nfft, d = 1.0 / fs)[:nfft/2]
67
68 # メルフィルタバンクを作成

TypeError: slice indices must be integers or None or have an __index__ method
というエラーが発生したため、65行目の
fscale = np.fft.fftfreq(nfft, d = 1.0 / fs)[:nfft/2]
から
fscale = np.fft.fftfreq(nfft, d = 1.0 / fs)[:nfft//2]
に変更し、実行致しました。その結果、

TypeError Traceback (most recent call last)
<ipython-input-237-861046850ea1> in <module>
3 nfft=2048
4 nceps=12
----> 5 tmp = get_feature(wavfile,nfft,nceps)
6 print (tmp)

<ipython-input-236-78439af9a47a> in get_feature(wavfile, nfft, nceps)
13 wavdata = wav[int(center - cuttime/2*fs) : int(center + cuttime/2*fs)]
14
---> 15 ceps = mfcc(wavdata, nfft, fs, nceps)
16 return ceps.tolist()

<ipython-input-235-fe0fd4e73824> in mfcc(signal, nfft, fs, nceps)
69 numChannels = 20 # メルフィルタバンクのチャネル数
70 df = fs / nfft # 周波数解像度（周波数インデックス1あたりのHz幅）
---> 71 filterbank, fcenters = melFilterBank(fs, nfft, numChannels)
72
73

<ipython-input-235-fe0fd4e73824> in melFilterBank(fs, nfft, numChannels)
29 indexstop = np.hstack((indexcenter[1:numChannels], [nmax]))
30
---> 31 filterbank = np.zeros((numChannels, nmax))
32 for c in np.arange(0, numChannels):
33 # 三角フィルタの左の直線の傾きから点を求める

TypeError: 'float' object cannot be interpreted as an integer

というエラーが発生し、ただいまこのエラーについて調べておりました。

[meg_]

エラーが発生したときのnumChannels, nmaxの値を調べれば原因が分かるでしょう。
filterbank = np.zeros((numChannels, nmax))の行の直前でnumChannels, nmaxの値をprint()で確かめてください。

[meg_]

たぶんここですね。
def melFilterBank(fs, nfft, numChannels) 関数内の「nmax = nfft / 2」を「nmax = nfft //2」にすれば良いかと思います。

[maguro2020]

重ね重ねご指摘いただきありがとうございます。ただいまmeg様に指摘されたところを変更し、実行致しましたところ12次ベクトルを取り出すことに成功致しました。お忙しい中、自分の質問に真摯に答えてくださり、誠にありがとうございました。