xmeans法による画像分類において求まったクラスタ数がおかしいです

Question

前提・実現したいこと

xmeans法によるクラスタリングの精度向上

発生している問題・エラーメッセージ

任意のカラー画像を似通った画像ごとに分類したいのですが、ほとんどの場合クラスタ数が２になってしまいます。
例えば、ただのコピー画像同士は同じクラスタに分類されるのですが、クラスタ数が２であるゆえに他の画像と混ざってしまいます。
これをxmeans法である程度の精度で実現したいと考えております。xmeans法以外の手法は現時点では考えておりません。

念のためソースコードをすべて記載しますが、該当箇所は64行目以降(#クラスタ数の取得およびxmeansの実行　というサブタイトル)だと思われます。

該当のソースコード

import shutil
from skimage import data
import os
import glob
from PIL import Image
import numpy as np
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
from sklearn.decomposition import IncrementalPCA
from pyclustering.cluster.xmeans import xmeans, kmeans_plusplus_initializer
from pyclustering.utils import draw_clusters


# 入力画像の読み込み[リストの作成]
img_paths = [] #リストの宣言
for root, dirs, files in os.walk("C:\Users\user\python_VScode_cwd\画像が入っているフォルダ\"):
    for file in files :
        if file.endswith(".png"):
            img_paths.append(file)
img_num = len(img_paths)
print("*************")
print("入力画像の枚数 :", img_num)
print("*************")


# データセットの製作[画像データ→RGB値の2,3次元配列→平らにする(2次元にする)]
plt.close("all")
img_paths = img_paths[:600]
def img_to_matrix(img):
    img_array = np.asarray(img)
    return img_array
def flatten_img(img_array):
    s = img_array.shape[0] * img_array.shape[1] * img_array.shape[2] #RGBカラー画像は３次元、白黒は２次元?
    img_width = img_array.reshape(1, s)
    return img_width[0]
dataset = []
for i in img_paths:
    a = "C:\Users\user\python_VScode_cwd\画像が入っているフォルダ\" + i
    img = Image.open(a)
    #img = img.resize((int(1232/4), int(1754/4)), Image.BICUBIC)
    img = img_to_matrix(img)
    #img_gray = 0.299 * img[:, :, 0] + 0.587 * img[:, :, 1] + 0.114 * img[:, :, 2]
    img = flatten_img(img)
    dataset.append(img)
dataset = np.array(dataset)
print(dataset.shape)
print("データセットの作成完了")
print("*************")


# 次元数の圧縮 [主成分分析-PCA]
# batch_size < len(dataset) && n_components < batch_size である必要がある
n = dataset.shape[0]
batch_size = img_num
ipca = IncrementalPCA(n_components=batch_size-1)
for i in range(n//batch_size):
    r_dataset = ipca.partial_fit(dataset[i*batch_size:(i+1)*batch_size])
r_dataset = ipca.transform(dataset)
print(r_dataset.shape)
print("主成分分析(PCA)の完了")
print("*************")

#クラスタ数の取得およびxmeansの実行
class XMeans():
    def fit(self,features):
        #pyclusteringのxmeansで計算
        initializer = kmeans_plusplus_initializer(data=features,amount_centers=2)
        initial_centers = initializer.initialize()
        xm = xmeans(data=features,initial_centers=initial_centers,kmax=50) #第三引数はｋの最大値
        xm.process()
        #
        #分類が出力される
        #しかしこの出力の仕方がscikit-learnとは違うので厄介
        #
        clusters = xm.get_clusters()
        #一次元配列flat_labelを用意
        flat_label = np.array([])
        #sklearnでいうlabel_の大きさを調べる
        for cluster in clusters:
            flat_label = np.append(flat_label,cluster)
        #正規のlabelを代入するための配列を確保
        labels = np.zeros((1,flat_label.size))
        
        #pyclusteringのclustersはクラスター数次元配列があり、標本の名前がクラスターに分類され配列として返す。
        #一方でsklearnのlabel_は標本と同様の順番に、その標本が属するクラスターの番号を配列で返す。
        #下記のコードはその変換を行っている
        #
        for n,n_th_cluster in np.ndenumerate(clusters):
            for img_num in n_th_cluster:
                labels[0][img_num] = n[0]
        #このままのラベルだと[[a........z]]の二重括弧になる。
        #それはsklearnの仕様に沿わない。[a........z]の一重括弧にする。
        #
        self.labels_ = labels[0]
        return self
model = XMeans()
x_means = model.fit(r_dataset)
labels = x_means.labels_
print("X-means法によるクラスタリングの完了")
print("*************")

#ラベルの最大値＝クラスタ数-1
k_num_before=int(np.max(labels))
#Xmeansによって決まったk=最大値+1
k_num=k_num_before+1

# 保存
n_clusters = k_num
for i in range(n_clusters):
    label = np.where(labels==i)[0]
    num = i +1
    if not os.path.exists("class"+str(num)):
        os.makedirs("class"+str(num))
    for j in label:
        img = Image.open("C:\Users\user\python_VScode_cwd\画像が入っているフォルダ\" + img_paths[j])
        fname = img_paths[j].split('/')[-1]
        img.save("class"+str(num)+"/" + fname)
print("新たなファイルとして保存完了")
print("*************")
print("すべての処理が終了しました")

試したこと

主成分分析の過程を飛ばす→成果なし
sklearnのk-meansとpyclusteringのx-meansの配列の返し方の違いを見直す→成果なし

補足情報（FW/ツールのバージョンなど）

pythonは最新版のものを使用しています
VScodeを使用しています

よろしくお願いいたします。

Comments

[tiitoi]

どのような画像を分類しようとしているのでしょうか？
MNIST レベルの簡単な画像なのか、犬と猫のように複雑な特徴を持つ画像なのかによっても難易度が変わってくると思います。

[a_3_]

返信ありがとうございます！
例えば飛行機、川、木など風景写真です。
実は言うと大学の研究で引き継いだテーマなのですが、その方は白黒画像でやっていました。画像を2次元フーリエ変換し、模様をx-means法を用いて分類するというものです。7つほどのカテゴリに分類できてたそうです

[tiitoi]

飛行機、川、木など風景写真となると様々なバリエーションが考えられるので、難しい問題といえます。
回答にも書きましたが、kmeans は高次元のデータには適していません。
前処理として画像から kmeans でも扱えるぐらいの次元数の特徴を抽出する必要があるかと思います。

[a_3_]

ただでさえ次元数の多い画像がkmeans法に適していないのに、複雑な風景画像だともはやランダムに近い結果になってしまうということですね。納得しました！とてもわかりやすい回答ありがとうございました！

Answer 1

kmeans 系の距離ベースのアルゴリズムは、特徴量の次元数が高い場合、次元の呪い の影響を受けるので、機能しません。そのため、画像のような高次元のデータを扱うには向いていません。

machine learning - Why is Euclidean distance not a good metric in high dimensions? - Cross Validated

How do I know my k-means clustering algorithm is suffering from the curse of dimensionality? - Cross Validated

kmeans 系のアルゴリズムを使うのであれば、画像の次元圧縮は必須です。
MNIST レベルの簡単な画像であれば PCA でも機能しますが、コメントにある「飛行機、川、木など風景写真」となると、特徴量も複雑になるので、PCA だと画像から有効な特徴を抽出するのは難しいのではないでしょうか。

---

hymenoptera_data という蟻と鉢の2クラスの画像分類用データセットで kmeans によるクラスタリングを試したところ、以下のような精度になりました。

• 画像を (256, 256) にリサイズして、そのまま kmean に突っ込む: 58%
• 画像を (256, 256) にリサイズして、PCA で200次元に圧縮して kmean に突っ込む: 57%
• 画像を (256, 256) にリサイズして、ImageNet の事前学習済みの VGG16 で512次元に圧縮して kmean に突っ込む: 92%

※ クラスタ番号とラベル番号の対応付けは正答率が高いほうに紐付けました。

結果を見ればわかるように、画像をそのまま kmeans に突っ込んだり、PCA で次元圧縮して kmeans に突っ込んだ場合は、ランダムに答えるのとほぼ変わらない正答率しかでません。

一方、特徴抽出に CNN と使うと90%以上と kmeans でもかなり精度よく分類可能であることがわかりました。

kmeans をうまく機能させるには、その前段階の特徴抽出の方法が鍵となりそうです。

---

過去の関連質問

Python - メルカリのCNN後の次元削減手法について｜teratail