Pythonで互いの非類似度を元にクラスタリングしてデンドログラムを作りたい

Question

前提・実現したいこと

すでに計算された、Nクラス間の非類似度の行列(N*N)を元に、階層的クラスタリングを行い、デンドログラムを作成することを行いたいです。

起きている問題(sklearn, scipyそれぞれ)

• sklearnの場合：affinityをprecomputedにするとnクラスタに分けてくれるが、デンドログラムを描く方法が見当たらない

clustering = AgglomerativeClustering(n_clusters=n, affinity='precomputed', linkage='average').fit(X)

• scipyの場合：デンドログラムを表示できるが、既計算の行列を用いたmetricがわからなく、sklearnと同じ結果が得られない（知識力の不足の可能性も高いです。）

Y = hierarchy.linkage(X, method='average')
plt.figure()
dn = hierarchy.dendrogram(Y)
plt.show()

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

python3.6

以上、よろしくお願いします。

Answer 1

scipyのを使うと簡単でしょう。

A condensed distance matrix. A condensed distance matrix is a flat array containing the upper triangular of the distance matrix. This is the form that pdist returns. Alternatively, a collection of m observation vectors in n dimensions may be passed as an m by n array. All elements of the condensed distance matrix must be finite, i.e. no NaNs or infs.
scipy.cluster.hierarchy.linkage — SciPy v1.1.0 Reference Guide

pdistのフォーマットで表現された距離行列を渡せば、それに基づいてクラスタリングしてくれるそうです。

n*nの距離行列の表現を持っているなら、squareformでpdistのフォーマットに変換できます。

scipy.spatial.distance.squareform — SciPy v1.1.0 Reference Guide

ここが似たことをやっているので、参考になるかもしれません。
Pythonで階層的クラスタリング | 配電盤

Comments

[hamar1]

ありがとうございます。元の非類似度のN*Nの表が上三角を含んでいる行列であるため、問題ないかと思ったのですが、N*mのobservationという扱いを受けていたのですね。読み違えていました。
いただいた回答を元に調べ直したら下記にも質問がありました。
https://stackoverflow.com/questions/18952587/use-distance-matrix-in-scipy-cluster-hierarchy-linkage