WAVファイルをkmeans法で分類したい

Question

前提

用いているプログラミング言語：python
データセット：https://github.com/karolpiczak/ESC-50
参考にしているサイト：https://magazine.techacademy.jp/magazine/28780

音声処理初心者で、プログラミングが苦手な学生です。いろいろ調べて行っているのですが、中々答えにたどり着けずにいます。

私と同じようなことを行っているサイトがありましたら教えていただけますでしょうか。
WAVファイルをkmeans法で分類したことのある方がいらっしゃいましたら教えていただきたいです。

実現したいこと

・音声ファイルをkmeans法で分類したい
・”mix.wav”はESC-50-masterの中の音声データ2つを重ね合わせたもの

発生している問題・エラーメッセージ

・前処理の段階でエラーが出てしまう

エラーメッセージ
AttributeError Traceback (most recent call last)
Cell In[4], line 3
1 with wave.open(FILE_PATH , 'rb') as wr:
2 #前処理
----> 3 dataframe = pd.read_wav('FILE_PATH')
4 # df = pd.DataFrame(data=FILE_PATH)
5 print(df.head())

File ~\AppData\Local\Programs\Python\Python311\Lib\site-packages\pandas_init_.py:264, in getattr(name)
260 from pandas.core.arrays.sparse import SparseArray as _SparseArray
262 return _SparseArray
--> 264 raise AttributeError(f"module 'pandas' has no attribute '{name}'")

AttributeError: module 'pandas' has no attribute 'read_wav'

該当のソースコード

from matplotlib import pyplot as plt
from sklearn import datasets, preprocessing
from sklearn.cluster import KMeans
import numpy as np 
import pandas as pd
import wave

#データの読み込み
#wav=open("./ESC-50-master/audio/mix.wav")
#sample = wav.load()

# 読み込みモードでWAVファイルを開く
FILE_PATH = "./ESC-50-master/audio/mix.wav"

with wave.open(FILE_PATH ,  'rb') as wr:
    #前処理
    dataframe = pd.read_wav('FILE_PATH')
   # df = pd.DataFrame(data=FILE_PATH)
    print(df.head())

    #クラスタリング用のデータの整形
    X=df[["cat","sheep"]]
    sc = preprocessing.StandardScaler()
    sc.fit(X)
    X_norm = sc.transform(X)
    print(type(X_norm))

    #クラスタリング
    cls = KMeans(n_clusters=2)
    result = cls.fit(X_norm)

    #結果の出力
    plt.scatter(X_norm[:,0],X_norm[:,1], c=result.labels_)
    plt.scatter(result.cluster_centers_[:,0],result.cluster_centers_[:,1],s=250, marker='*',c='red')
    plt.show()

試したこと

・WAVファイルはpandasでは開けないのかと考え、WAVファイルをpandasが読み込めるファイルに変換しようと考えたができなかった。

・pandasを用いない前処理も探したが見つけることが出来なかった
・mix.wav　をスペクトログラム変換したのだが、これは前処理が終わったとは言えない…？

・WAVファイルをｋmeans法で分類しているサイトを探したが出てこなかった（CNNを用いているものばかりだった）

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[meg_]

> WAVファイルをkmeans法で分類したい
> CNNを用いているものばかりだった
「kmeans法」に拘る理由は何でしょうか？

[kirinrin0x0]

こんばんは、コメントありがとうございます。

シンプルで初心者にも分かりやすいと聞いていたのでk-means法にこだわって調べていました。
分かりやすいものから始めて慣れたらCNNに移行しようと考えていました。

Answer 1

WAVファイルはpandasでは開けないのかと考え、WAVファイルをpandasが読み込めるファイルに変換しようと考えたができなかった。

Pandasには非構造化データを読み取る機能はありません．Pandas - input/output

pandasを用いない前処理も探したが見つけることが出来なかった

NumPyやSciPyなどのライブラリでFFTをはじめとする前処理が可能です．

mix.wav　をスペクトログラム変換したのだが、これは前処理が終わったとは言えない…？

質問掲載コードのどこでもスペクトログラム変換が実行されていません．

WAVファイルをｋmeans法で分類しているサイトを探したが出てこなかった（CNNを用いているものばかりだった）

そもそも論，非構造化データをk-Means法で分類することの影響/効果を理解されての質問でしょうか．
RightCode - 【機械学習】ブログのサムネ画像をクラスタリングしてみる！
このサイトでも示されている通り，wavファイルのデータそのものに対してk-Meansを純粋に適用するだけでは，聴覚的(上記サイトでは視覚的)な特徴で分類することにはなりません．多次元配列のindex-wiseな比較がされて分類されることを許容するのなら話は別です．

追記

ESC-50を使ったdogとcatのk-Means法によるクラスタリング例及びt-SNEを利用した可視化を次に示します．

import os
import wave
from matplotlib import pyplot as plt
from sklearn import preprocessing
from sklearn.cluster import KMeans
from sklearn.manifold import TSNE
import numpy as np 
import pandas as pd

df = pd.read_csv("ESC-50-master/meta/esc50.csv")
data = df[(df["category"] == "dog") | (df["category"] == "cat")][["filename", "category"]].values

X, y = list(), list()
for i, (file, category) in enumerate(data):
    with wave.open(os.path.join("./ESC-50-master", "audio", file), "r") as f:
        buf = f.readframes(1024)
        X.append(np.frombuffer(buf, np.int16))
        y.append(category)

cls = KMeans(n_clusters = 2).fit(X)
reduced = TSNE(n_components = 2).fit_transform(X)

plt.figure(figsize = (8, 4), dpi = 100)
plt.scatter(reduced[:, 0], reduced[:, 1], c = cls.labels_)
for i in range(len(y)):
    plt.annotate(y[i], xy = (reduced[i][0], reduced[i][1]))
plt.savefig("output.png", dpi = 100)
plt.tight_layout()
plt.show()

2クラスタとなるようn_clustersを指定したものの，catのうち1つ(画面左端の黄点)が分離されるだけでほとんど同一クラスタと見なされました．

Comments

[kirinrin0x0]

回答ありがとうございます。

スペクトログラム変換は別にjupyter notebookにコードを書いていて、こちらには載せていませんでした。

シンプルで初心者にも分かりやすそうだったのでK-means法を選択しました。非構造データでも特に支障なくできるだろうと深く考えずに行っていました。
k-means法では音声ファイルは分類できないのですね...CNNで行ってみようと思います。

[ps_aux_grep]

> シンプルで初心者にも分かりやすそうだったのでK-means法を選択しました。
入門の内容として悪くないアルゴリズムの選択ですが...

> k-means法では音声ファイルは分類できないのですね...CNNで行ってみようと思います。
分類はできます．上記のサイトで示している通り，聴覚的(上記サイトでは視覚的)な特徴で分類せず，多次元配列のindex-wiseな比較がされて分類されることになるだけです．これを許容するのか否かはっきりさせて利用すべきアルゴリズムです．

もし，勉強のためにk-Meansを使うなら，分類が簡単なiris等の構造化データに対して使うべきです．最終的に音声の分類を目的としているにしても，データの解析を怠って闇雲にそこらへんに転がっている手法を適用するのは推奨しかねます．ので，meg_さんはk-Meansに拘る理由を聞き出そうとしています．

たとえば，k-Meansを利用した分類には次の質疑応答で示されるような問題があります．
https://qiita.com/beidaochuan/questions/fff781216e09ddcf3ec4

また，
> ”mix.wav”はESC-50-masterの中の音声データ2つを重ね合わせたもの
とのことですが，具体的にどのような処理で重ねたか，どのようなデータになったか，明記すべきだと思います．この操作の詳細なしでは回答者が再現性のある解決法を示すことができません．

[kirinrin0x0]

分類はできます．上記のサイトで示している通り，聴覚的(上記サイトでは視覚的)な特徴で分類せず，多次元配列のindex-wiseな比較がされて分類されることになるだけです．これを許容するのか否かはっきりさせて利用すべきアルゴリズムです．
＞＞「多次元配列のindex-wiseな比較」とはどういったものなのでしょうか？調べ方が悪いのか上手く検索できません…

もし，勉強のためにk-Meansを使うなら，分類が簡単なiris等の構造化データに対して使うべきです．
最終的に音声の分類を目的としているにしても，データの解析を怠って闇雲にそこらへんに転がっている手法を適用するのは推奨しかねます．
＞＞他のサイトを見るとirisデータを使っている方が多かったので、そうしようと思います。
irisデータを用いて解析をしてみた後、これからの音声処理を行うにあたって何をするのが良いでしょうか？

たとえば，k-Meansを利用した分類には次の質疑応答で示されるような問題があります．
https://qiita.com/beidaochuan/questions/fff781216e09ddcf3ec4
＞＞手本と違う分類をしてしまう時もあるんですね...

具体的にどのような処理で重ねたか，どのようなデータになったか，明記すべきだと思います．この操作の詳細なしでは回答者が再現性のある解決法を示すことができません．
＞＞スマホアプリの「音楽編集」で２つの音を重ね、wavファイルで保存しました。

[ps_aux_grep]

> 「多次元配列のindex-wiseな比較」とはどういったものなのでしょうか？
先に示したサイトの以下の画像前後にある内容が，それです．
https://rightcode.co.jp/wp-content/uploads/2019/09/image_distance.png
画像で言うところのpixel-wiseな比較による話で展開されています．

> irisデータを用いて解析をしてみた後、これからの音声処理を行うにあたって何をするのが良いでしょうか？
irisのテーブルデータで解析ができたのであれば，そのコードを音声データ用に書き換えて，クラスタリングによる分類に取り組んでみたら良いのではないでしょうか．

質問のコードを見た感じ，
* Pandas.DataFrameの使い方がよくわかっていない(テーブルデータ用の読み込み方を使っている)
* 結果出力にあたって，テーブルデータ用の表示方法を利用している
等の改善の余地が多々見られます．
これらを音声データ読み込みができるよう，書き換えれるかどうかは質問者のスキル次第ですが，よくわからなければPythonの基礎から振り返るべきです．

> スマホアプリの「音楽編集」で２つの音を重ね、wavファイルで保存しました。
2つ重ねた理由と目的を伺ってもよろしいでしょうか．

[kirinrin0x0]

先に示したサイトの以下の画像前後にある内容が，それです．
画像で言うところのpixel-wiseな比較による話で展開されています．
＞＞ありがとうございます。

irisのテーブルデータで解析ができたのであれば，そのコードを音声データ用に書き換えて，クラスタリングによる分類に取り組んでみたら良いのではないでしょうか．
＞＞音声データに書き換えるところでつまづきそうですが、頑張ります！

質問のコードを見た感じ，
* Pandas.DataFrameの使い方がよくわかっていない(テーブルデータ用の読み込み方を使っている)
* 結果出力にあたって，テーブルデータ用の表示方法を利用している
等の改善の余地が多々見られます．
これらを音声データ読み込みができるよう，書き換えれるかどうかは質問者のスキル次第ですが，よくわからなければPythonの基礎から振り返るべきです．
＞＞おっしゃる通りでPandas.DataFrameについて全くわかっていなかったのでサイトを真似して使っていただけでした。頑張ってみます。

2つ重ねた理由と目的を伺ってもよろしいでしょうか．
＞＞1つのファイルには1つの音声データしか入っていないので、２つ重ねることで2つの音声データをk-means法で分類しようと思っていました。

[ps_aux_grep]

> 1つのファイルには1つの音声データしか入っていないので、２つ重ねることで2つの音声データをk-means法で分類しようと思っていました。

なるほど，納得が行きました．やはり未経験でデータセットの構成法を知らない状態での取り組みだったのですね．

普通，追記で示したようなX.append()で音声を重ねるということをします．ここらへんの配列処理まわりの話やデータセット構築のやり方がわからないうちは，機械学習を初めとする応用分野のコードを書くのではなく，最低限チュートリアルを済ませることを推奨します．画像や音声などの非構造化データの場合は特に配列操作に長けてなくてはままなりません．
チュートリアルを済ませたら SIGNATE https://signate.jp/ などのサービスで機械学習まわりの知識を学ばれると良いでしょう

[kirinrin0x0]

なるほど，納得が行きました．やはり未経験でデータセットの構成法を知らない状態での取り組みだったのですね．
＞＞初心者の状態でのスタートでした。

普通，追記で示したようなX.append()で音声を重ねるということをします．ここらへんの配列処理まわりの話やデータセット構築のやり方がわからないうちは，機械学習を初めとする応用分野のコードを書くのではなく，最低限チュートリアルを済ませることを推奨します．
＞＞どうプログラムが動いているのか、などの基本的なことと並行して今回の処理をやっていこうと思います。

画像や音声などの非構造化データの場合は特に配列操作に長けてなくてはままなりません．
＞＞pythonを含むプログラミングには苦手意識がかなりあるので基礎から順にやっていきます！

チュートリアルを済ませたら SIGNATE https://signate.jp/ などのサービスで機械学習まわりの知識を学ばれると良いでしょう
＞＞このようなサービスがあるのですね、チュートリアルが終わり次第やってみます。ありがとうございます。