同時刻の同IDのデータをクラスタリングしたい

Question

考えていること

IDデータ、時間データ、複数特徴量データを用いて、同時刻の同一IDで絞った上でクラスタリングをかけ、
クラスタ数とクラスタ間距離とデンドログラムを取得したいです。
例えば、下記のようなデータがあったとします。

データ

同一IDで見て、同時刻なものは
idがaの場合、16:03の3データと16:04の3データ、
idがbの場合、16:04の3データで、作成したいデータフレームは以下になります。

# 作成したいデータフレーム

id time a b
a 2019-01-04 16:03:00 1 None
a 2019-01-04 16:04:00 4 10.5
b 2019-01-04 16:04:00 3 20.1
:

# 試したこと
任意のdfに対して以下のコードで、クラスタ数とデンドログラムは取得できます・

# 困っていること
・ID/時間ごとに
・クラスタ間


大変恐縮ではございますが、お知恵を拝借できましたら幸いです。
何卒よろしくお願い申し上げます。

Answer 1

DataFrame.groupby().apply() にて関数を呼び出し、その関数内でグループ毎のクラスタ数・クラスタ間距離を求めて pandas.Series() データとして返すことで実現できます。

クラスター間距離を求めるコードがありませんでしたので、下のコードでは しきい値として使った値をクラスター間距離として扱っております。

import pandas as pd
import io
from scipy.cluster.hierarchy import linkage, dendrogram, fcluster
import numpy as np

data = """
id,time,feature1,feature2,feature3
a,2019-01-04 16:03:00,14,32,88
a,2019-01-04 16:03:00,12,21,16
a,2019-01-04 16:03:00,13,15,44
a,2019-01-04 16:04:00,11,36,45
a,2019-01-04 16:04:00,13,15,44
a,2019-01-04 16:04:00,18,35,53
b,2019-01-04 16:04:00,17,21,36
b,2019-01-04 16:04:00,19,93,23
b,2019-01-04 16:04:00,25,27,55
"""

df = pd.read_csv(io.StringIO(data),parse_dates=['time'])

def f(d):
    linkage_result = linkage(d, method='ward', metric='euclidean')
    # クラスタ分けのためのしきい値の設定
    threshold = 0.8 * np.max(linkage_result[:, 2])
    # クラスタリング結果の値を取得
    clustered = fcluster(linkage_result, threshold, criterion='distance')
    # 結果をSeriesデータとして返す（クラスタ間距離はしきい値で良いの？？）
    return pd.Series({'クラスタ数': np.max(clustered), 'クラスタ間距離': threshold})


# groupby.apply() にて関数 f() を呼び出す
r = df.groupby(['id','time'])[['feature1','feature2','feature3']].apply(f)
print(r)
#                        クラスタ数    クラスタ間距離
#id time
#a  2019-01-04 16:03:00    2.0  55.134260
#   2019-01-04 16:04:00    2.0  19.541409
#b  2019-01-04 16:04:00    2.0  67.068125

Comments

[mi2]

ありがとうございます！！

[mi2]

すみません、レコード数が1の場合、ValueError: The number of observations cannot be determined on an empty distance matrix.となってしまうのですが、この例外は関数内で処理した方がよいのでしょうか。

[magichan]

その方が良いでしょうね。
関数の最初にデータ数を確認して１の場合は処理はせずに
return pd.Series({'クラスタ数': 0, 'クラスタ間距離': np.nan})
等の値を返すと良いかと思います

[magichan]

あっ
return pd.Series({'クラスタ数': 1, 'クラスタ間距離': np.nan})
の方が良いのかな（このあたりはお好みで）

[mi2]

if x == 1:
return pd.Series({'クラスタ数': 1, 'dist': クラスタ間距離})
else:
linkage_result以降の処理・・・
のようなイメージなのですが、
> 関数の最初にデータ数を確認して１の場合は処理はせず
はdのlenを見に行く感じでしょうか。

初心者でこのあたりの処理をサクサク書けずご迷惑おかけして申し訳ございません。

[magichan]

関数（f）の一番最初に
if len(d) == 1:
__return pd.Series({'クラスタ数': 1, 'dist': クラスタ間距離})
を追加するとよいのではないでしょうか

[mi2]

ありがとうございます。
すみません間違えてました。
valueerrorを捕まえに行くことで例外処理しました。
ご丁寧にありがとうございます。