python3.6機械学習 hogを使ったカラー写真分類がうまくできません

Question

機械学習のカラー写真分類でHOGをインポートし局所特徴量を抽出して、クラスタリングを行いたいのですがクラスタリングを行うときにエラーがでてしまって躓いています。
使用するカラー写真はkeras.datasetsのcifar10.load_data()で訓練用とテスト用データがそれぞれ5万と1万個ずつはいっています。ラベルの数は10個です。

#データの前処理
n_samples = np.arange(10000)
(X_train, labels_train),(X_test, labels_test) = cifar10.load_data()
labels_train=labels_train.reshape(-1)
labels_test=labels_test.reshape(-1)

labels_train=labels_train[n_samples] #処理を軽くするためデータを1万個にする
X_train=X_train[n_samples]

#HOGの実行
from skimage.color import rgb2gray#カラーからモノクロへ変換
from skimage.feature import hog

def get_descriptors(data):
    orientations = 9
    pixels_per_cell = (4,4) #写真を小領域に分割
    cells_per_block = (3,3)#グリッドで局所特徴量を抽出
    feature_vector = hog(rgb2gray(data), orientations, pixels_per_cell, cells_per_block)
    return feature_vector.reshape(-1,np.multiply(*cells_per_block)* orientations)

for data in X_train:
    data_descriptors=get_descriptors(data)
    
    
data_descriptors = np.array(data_descriptors)

#クラスタリングでエラーが発生
from sklearn.cluster import MiniBatchKMeans 
np.random.seed(0)

codebook_size = 1000

descriptors = np.vstack(data_descriptors[X_test])
indices = np.random.choice(np.arange(len(descriptors)), size=500000, replace=False)
kmeans = MiniBatchKMeans(n_clusters=codebook_size, n_init=10, random_state=0)
kmeans.fit(descriptors[indices].astype(float))
del descriptors, indicesIndexError: index 59 is out of bounds for axis 0 with size 36

---

IndexError Traceback (most recent call last)
<ipython-input-12-46d604a03021> in <module>()
5 codebook_size = 1000
6
----> 7 descriptors = np.vstack(data_descriptors[X_test])
8 indices = np.random.choice(np.arange(len(descriptors)), size=500000, replace=False)
9 kmeans = MiniBatchKMeans(n_clusters=codebook_size, n_init=10, random_state=0)

IndexError: index 158 is out of bounds for axis 0 with size 36

Comments

[MasashiKimura]

完全なエラーメッセージを載せていただかないと、どこでこのエラーが起きているのか特定できないと思います。

[pikaso]

返信が遅くなって申し訳ありません。先ほど詳しいエラーの箇所を表記しました。

Answer 1

とりあえず、ザッとみたところ数点問題がありそうです。

１．

for data in X_train:
    data_descriptors=get_descriptors(data)

data_descriptors = np.array(data_descriptors)

の部分はループ毎にdata_descriptorsを上書きしておりますので最終的に最後のデータしか残らない状態になっております。

ここは

data_descriptors = []
for data in X_train:
    data_descriptors.append(get_descriptors(data))

data_descriptors = np.array(data_descriptors)

のように記述するべきなのではないでしょうか。

２．
get_descriptors() 関数の戻り値が

    return feature_vector.reshape(-1,np.multiply(*cells_per_block)* orientations)

のようにわざわざ多次元にreshapeしておりますが、最終的にこのデータをKmeansに入力するのでであれば、

    return feature_vector

のように、１次元の特徴量のまま保持しておくべきではないでしょうか。

３．
最後の４行

descriptors = np.vstack(data_descriptors[X_test])
indices = np.random.choice(np.arange(len(descriptors)), size=500000, replace=False)
kmeans = MiniBatchKMeans(n_clusters=codebook_size, n_init=10, random_state=0)
kmeans.fit(descriptors[indices].astype(float))

はイマイチ意味が分りません。（特に１行目は何を行いたいのでしょうか？）
Kmeansでクラスタリングしたいのであれば、単純に

kmeans = MiniBatchKMeans(…)
kmeans.fit(data_descriptors)

では駄目なのでしょうか。

４．
最後に、今回データとしてcifar10を使っているので、MiniBatchKMeans に引数として渡すクラスタリング数(n_clusters)は 1000 ではなくて 10 なのではないでしょうか。