Pythonでの列の差分が大きいところを自動検出したい

Question

Pythonでの列の差分・変化率を取得について。

Pythonを用いた周波数解析についてプログラムを作成しています。
解析で得られたスペクトルをcsvに保存(Hz,dBの２列)し、最終的に得られたデータから変化量の大きいところを自動検出させることを目指しています。
例を挙げると、列の成分[dB]が20.24.18....と続いてるところに60とくると、それまでより40近く差分があるので自動検出するという流れです。

diffを用いたらできると思い、作成していますがDataFrame?との兼ね合いがいまだによくわかっていません。試行錯誤的にやっているため、間違っているところなどを教えていただけますでしょうか。

def dft (n0, N, g):
    G = [0.0] * N
    for k in range(N):
        for n in range(N):
            real = np.cos(2 * np.pi * k * n / N)
            imag = - np.sin(2 * np.pi * k * n / N)
            G[k] += g[n0 + n] * complex(real, imag)
    return G

def main():
    wf = wave.open("test.wav", "r")
    fs = wf.getframerate()                          # サンプリング周波数
    g = wf.readframes(wf.getnframes())
    g = np.frombuffer(g, dtype="int16") / 32768.0    # -1～1に正規化
    wf.close()
    n0 = 0                                          # サンプリング開始位置
    N = 4410                                        # サンプル数
    G = np.fft.fft(g[n0:n0 + N])                      # 高速フーリエ変換
    amp = [np.sqrt(c.real ** 2 + c.imag ** 2) for c in G]       # 振幅スペクトル
    flist = np.fft.fftfreq(N, d=1.0 / fs)             # 周波数リスト

    # CSVファイルを作成書き込み
    with open('test2.csv', 'wb') as csv_file:
        fieldnames = ['Hz', 'dB']
        writer = csv.DictWriter(csv_file, fieldnames=fieldnames)
        writer.writeheader()
        for f, a in zip(flist, amp):
            writer.writerow({'Hz': f, 'dB': a})
            
    # CSVファイルを読み込む
    with open('test2.csv', 'r')  as csv_file:
        reader = csv.DictReader(csv_file)
        for row in reader:
            print(row['Hz'], row['dB'])
    
    df = pd.DataFrame({row['Hz'], row['dB']})
            print(df.diff())


if __name__ == '__main__':
    main()

Answer 1

単に２列目('dB')の行間の差が閾値より大きい箇所を知りたいだけであれば、

df.iloc[:, 1].diff() > Threshold

（もし２行目にラベル名'dB'が設定されているのであれば　df.loc[:, 'dB'].diff() > Threshold　でも可）

のように記述すると、Boolean配列が得られます。この配列の値がTrueの箇所が検出したい行ということになります。ですので、

df['flag'] = df.iloc[:, 1].diff() > Threshold

とでもして、'flag列'を新たに作成すると良いのではないでしょうか。

以下は質問のコードを改変したサンプルとなります。

import wave
import pandas as pd
import numpy as np
import csv


def main():
    wf = wave.open("test.wav", "r")
    fs = wf.getframerate()                          # サンプリング周波数
    g = wf.readframes(wf.getnframes())
    g = np.frombuffer(g, dtype="int16") / 32768.0    # -1～1に正規化
    wf.close()
    n0 = 0                                          # サンプリング開始位置
    N = 4410                                        # サンプル数
    G = np.fft.fft(g[n0:n0 + N])                      # 高速フーリエ変換
    amp = [np.sqrt(c.real ** 2 + c.imag ** 2) for c in G]       # 振幅スペクトル
    flist = np.fft.fftfreq(N, d=1.0 / fs)             # 周波数リスト

    # DataFrame生成
    df = pd.DataFrame({'Hz': flist, 'dB':amp})
    # CSVファイルに書き出しておく
    df.to_csv('test2.csv')

    # DataFrameを表示
    print(df)

    # dB列の差が閾値以上かどうかを示す 'flag'列を追加
    threshold = 0.2
    df['flag'] = df['dB'].diff() > threshold
    #'flag'列が True の行のみ表示
    print( df[df['flag']])


if __name__ == '__main__':
    main()

Comments

[xomit1138]

ありがとうございます！
初歩的な質問で申し訳ないのですが、実行結果でTRUEとして表示される行は、前の㏈値と比較してdB列の差が閾値以上となったところ　という認識で正しいですか？

また例えば、閾値を20とするとdB値が20,50と続くとTRUE、逆に50,20と続くとNOT TRUEとなるという認識でよろしいでしょうか？

[magichan]

はい。今回書いたコードとしては、その理解で間違いありません。

もし、50,20 の部分をTrue としたいのであれば、 差の絶対値を取って

df['dB'].diff().abs() > threshold

等とすると良いかと思います。

[xomit1138]

なるほど!! ご親切にわかりやすい回答ありがとうございます!!