閾値を指定した階層型クラスタリングの方法について

Question

閾値をしていてクラスタリング結果を得たい

Cosine類似度を用いてWard法と最長距離法で、
閾値を変更させて変化するクラスタリングの結果が得たいです。

発生している問題・エラーメッセージ

Method 'ward' requires the distance metric to be Euclidean

該当のソースコード

z = linkage(df, metric='cosine', method='ward')

fig = plt.figure(figsize=(12, 6))
ax = fig.add_subplot(1, 1, 1, title="樹形図")
dendrogram(z)
plt.show()

clusters1 = fcluster(z, 0.05, criterion='distance')
for i, c in enumerate(clusters1):
    print(i, c)

試したこと

import linkage
ではユークリッド距離でしかWard法が使えないらしい。

Answer 1

linkageには手元のデータを投入して距離計算とともにdendrogramに必要は結果を出力する方法と距離計算を別に行っておいてその結果を入力してdendrogramに必要な結果を出力する方法のふたつが実装されています。よって、別にCosine類似度を計算しておいてlinkage関数に入力する実装をすれば期待した結果を得ることができます。

from scipy.spatial.distance import pdist   ###距離計算の関数
from scipy.cluster.hierarchy import linkage, dendrogram

dist = pdist(df,metric='cosine')   ### cosine類似度を距離に見立てて計算
z = linkage(dist)
dendrogram(z)
plt.show()

pdist()ですが、公式ドキュメントを見るとわかりますが、いわゆるcosine類似度が結果として返ってくるわけではありません。1-cosine類似度が計算結果となります。これはこの後のlinkageに入力する値は距離である必要があり、距離の定義上、非負値である必要があるための操作です。