クラスタリングの番号をある条件で番号を振りなおしたい

Question

やりたいことを簡単にしました

df = pd.read_table(io.StringIO("""
top	row
1	2
2	2
3	0
4	0
5	1
6	1
"""))

クラスタリングするとこういう結果がでたのですが
top row
1 2
2 2
3 0
4 0
5 1
6 1

こういうtop順にrowを0から番号を振りなおしたい
top row
1 0
2 0
3 1
4 1
5 2
6 2

よろしくお願いします。

以下サンプルは不要です。

PDFの表からテキスト抽出してTSVの表を作成したいのですが

1. popplerのpdftohtmlからxmlを作成
2. xmlからX/Y座標とテキストのcsvを作成
3. X座標とY座標をクラスタリングしクラス分け

クラスタリングはできたのですが順番がバラバラなのでX座標の順、Y座標の順で番号を振り直したい。

df2_results['top'] Y座標
df2_results['left'] X座標
df2_results['row'] Yのクラス
df2_results['col'] Xのクラス

になっています。

よろしくお願いします。

import pandas as pd
from sklearn.cluster import KMeans

df = pd.read_csv('data.csv')

# ページ・縦・横の順にソート
df.sort_values(by=['page', 'top', 'left'], inplace=True)
df.head()

df1 = df.loc[:, ['page', 'top', 'left', 'text']]
df1.plot.scatter(x='left', y='top', ylim=(892, 0))

# ヘッダー部を除外
df2 = df1[df1['top'] > 100]
df2

# 表部分確認
df2.plot.scatter(x='left', y='top', ylim=(892, 0))

# Y座標をクラスタリング
mdl_y = KMeans(n_clusters=33)
df2_y = df2[['top']]
mdl_y.fit(df2_y)
y2 = mdl_y.labels_
print(y2)

# X座標をクラスタリング
mdl_x = KMeans(n_clusters=6)
df2_x = df2[['left']]
mdl_x.fit(df2_x)
x2 = mdl_x.labels_
print(x2)

df2_results = df2.copy()

df2_results['row'] = y2
df2_results['col'] = x2

df2_results.sort_values('top')

# Y座標散布図
df2_results.plot.scatter(
    x='left', y='top', c='row', cmap='winter', ylim=(892, 0))

Y座標散布図

# X座標散布図
df2_results.plot.scatter(
    x='left', y='top', c='col', cmap='winter', ylim=(892, 0))

X座標散布図

Answer 1

こんな感じでできます。

>>> x_cluster_centers_ = np.array([[0], [15], [-30]])  # 適当に見立ててデータを作る
>>> x_labels_ = np.array([0, 0, 0, 1, 1, 1, 2, 2, 2])  # 適当に見立ててデータを作る
>>> x_centers = x_cluster_centers_.ravel()  # 取扱いやすいようベクトル（ndim=1の配列）にする
>>> x_convert_dic = {k:v for v,k in enumerate(x_centers.argsort())}  # argsortしてindexと値を逆転させた辞書を作る
>>> [x_convert_dic[l] for l in x_labels_]  # その辞書を使って変換
[1, 1, 1, 2, 2, 2, 0, 0, 0]

色がわかりづらい件については

色がわかりやすいcmapを探して、winterの代わりに指定する。
Choosing Colormaps — Matplotlib 2.0.2 documentation

Comments

[barobaro]

コードを参考に今から試してみます。
色について種類があるのに気づかなくて少し見やすくなりました
ありがとうございます。

[barobaro]

やってみたのですがargsortをうまく使えなくて動きませんでした。
サンプルをシンプルに書き換えましたのでよければもう一度お願いします。

[hayataka2049]

ん、動きません？　どんな感じでやったのか見せていただけると直せるかもしれません
追加注文の方は、どうやるのがうまいかすぐ思いつかないので、考えておいて明日回答します

[barobaro]

いつでもかまいませんのでお時間がお手すきの際によろしくお願いします。

サンプルを利用しています
y_conv_dic = {k:v for v,k in enumerate(df['top'].argsort())}
df['test'] = [y_conv_dic[l] for l in df['row']]
df

top row test
0 1 3 3
1 2 3 3
2 3 1 1
3 4 1 1
4 5 2 2
5 6 2 2

[hayataka2049]

df['top']の代わりにmdl_x.cluster_centers_.ravel()とかを入れればうまくいくと思います
その情報を使わないでやろうとすると、各クラスタごとに集計してtopの平均を取ってその平均でソート、でしょうか。それはそれでやればできますけど、ちょっと面倒ですよ

y_conv_dic = {k:v for v,k in enumerate(df.groupby("row").mean()["top"].argsort())}
df['test'] = [y_conv_dic[l] for l in df['row']]
print(df)

[barobaro]

できましたどうもありがとうございます。
まだいろいろとわからないことばかりなので勉強します。