kmeansについての質問です

Question

kmeansについての質問です

kmeansは超球型で，全部のクラスタが同じくらいになることを想定している
ようですが，
超球型というのは，例えば二次元グラフに表すときにクラスタ一個一個が円のようになっておかなければならないということなのでしょうか

クラスタリングしたときに，円状になっていない場合はクラスタ失敗になるのでしょうか

Answer 1

クラスタ一個一個が円のようになっておかなければならないということなのでしょうか

円というか、正規分布だとうまくいきます。

クラスタリングしたときに，円状になっていない場合はクラスタ失敗になるのでしょうか

実際に「どんな風にクラスタリングされるのか」見た方が理解が深まります。

ということで、参考リンク。
クラスタリング手法紹介シリーズ2　k-means | 竹林の事前分布
2.3. Clustering — scikit-learn 0.19.1 documentation

Comments

[kohekoh]

クラスタリング手法紹介シリーズ2　~k-means~ | 竹林の事前分布
の数値例Ｅのようなグラフに対しては
kmeans以外の手法を使ったほうがいいということですよね
しかし，Ｅのグラフは一応クラスタリングの結果として
分かれてはいますが，あの結果は信用できないということなのでしょうか

[hayataka2049]

信用できる、できないというか、クラスタリングは教師なしの分析手法で、正しい結果というものは基本的にありません。
クラスタリング結果に意味付けを与えたり、妥当性を検証したりする作業を、分析を行う者が責任を持ってやる必要があるということです。そこで判別分析にかけてみたり、PCAやt-SNEのような手法による可視化と併用したりして、結果が「信用できるか」「どんな意味があるか」まで見てあげないといけません。
この記事の前半によくまとまっています。
https://qiita.com/suecharo/items/20bad5f0bb2079257568

[kohekoh]

ということは
あのグラフが妥当性がない，うまくいっていないという判断は
どこでしているのでしょうか

[hayataka2049]

あれは結果ありきで見ているケースですが、ちゃんとやろうと思ったら
・クラスタリングの評価尺度で測る。うまくいっていないと変な数字になりがちです。
参考：http://soonraah.hatenablog.com/entry/2014/05/06/192258
このあたりも：https://qiita.com/deaikei/items/11a10fde5bb47a2cf2c2
・可能なら低次元で可視化して、妥当性を判断
・判断分析や分類にかけて、各クラスタがどんな性質なのかを質的に解釈する
・究極的には、解析の目的に合ったクラスタが得られればよしとする。客観的な正しさはない

[kohekoh]

なるほどですね
じゃあグラフＥのようなクラスタになったとしても
もしかしたらデータによっては妥当な可能性もある，と
結局主観評価なので，これが絶対正しいみたいなのはないっていうことですよね

[hayataka2049]

そゆことですね。
ただ、現実的には指標を見ながらクラスタ数の調整をやるので、kmeansであのEのデータならクラスタ10個くらいでなんとか落ち着くかな？　となる気がする。あんまり役に立たないですね。
あとは、最初から非線形な構造があるのがわかっているなら、kmeansより非線形に強いもの（スペクトラル・クラスタリングとかかなぁ）を持ってきた方が「妥当」な結果は得られる可能性が高いので、最初からそっちを使うという選択もあるし。
なんでもありという世界ではないです（中には紙一重な事例もあるんだろうけど）。

[kohekoh]

なるほどです
詳しく教えていただきありがとうございました