pandasで二次元座標からheatmapを作りたい

Question

前提

y,z座標の視線データの配列から、pandasでヒートマップを作りたいと思っています。

イメージ：https://pythonbasics.org/seaborn-heatmap/

実現したこと

ここに実現したことを箇条書きで書いてください。
① txtファイルからy,zにデータを格納(連番ではない)
②二次元配列に[y, z, 重複した回数]として格納

データの例(省略)：
[['-854.564', '-92.653', 1], ['-856.039', '-85.4', 2], ['-854.958', '-87.016', 2], ['-881.358', '-115.083', 2], ['-881.337', '-117.82', 9], ['-874.907', '-80.494', 2], ['-872.105', '-80.82', 1], ['-871.114', '-81.154', 1], ['-870.602', '-79.852', 1], ['-869.552', '-80.692', 1], ['-869.194', '-79.456', 1]]

該当のソースコード

import pandas as pd
import numpy as np
import seaborn as sns
import re
import matplotlib.pyplot as plt

#①
if __name__ == "__main__":    
    pts = []
    file_path = "gaze_data_location.txt"
    with open(file_path) as f:
        y = []
        z = []
        i = 0 
        lines = f.read().splitlines()
        for line in lines:
            new_str = re.search(r'Y=(.+)',line).group(1)
            get_y = re.search(r'(.+)\sZ=',new_str).group(1)
            y.append(float(get_y)*-1)
            get_z = re.search(r'Z=(.+)',new_str).group(1)
            z.append(float(get_z))
            pts.append((y[i],z[i]))
            i += 1
#②
    y_str = [str(n) for n in y]
    z_str = [str(n) for n in z]
    l = []
    for i in range(len(y_str)):           
        flag = True
        for j in range(len(l)):
            if y_str[i] in l[j][0] and z_str[i] in l[j][1]:
                flag = False
                l[j][2] = l[j][2] + 1
        if flag is True:
            l.append([y_str[i],z_str[i],1])

考え

イメージとしてはpandasの行、列にy,zを振り分けて値に重複回数を入れたいのですが、やり方がわからないです。

補足

図１：目標はこのような感じで滑らかなヒートマップ

図2

plt.hist2d(y, z, bins=(500, 500), cmap=plt.cm.Greys)
plt.xlim(-1000, -825)
plt.ylim(120, 225)
plt.show()

図3

fig, ax = plt.subplots(figsize =(100, 57))
plt.hexbin(y, z, bins = 10000, cmap=plt.cm.binary)
ax.set_xlabel('X-axis') 
ax.set_ylabel('Y-axis') 
plt.xlim(-1000, -825)
plt.ylim(120, 225)
plt.tight_layout() 
plt.show()

図４

Comments

[bsdfan]

ヒートマップを作るのが目的ならば、①で作った y, z で、matplotlib.pyplot.hist2d か seaborn.histplot を使ってプロットすることができると思います。
②については、文字列に変換している理由はなんでしょうか？
また、ヒートマップを作りたいなら、値が完全に一致する点を数えるのではなく、範囲に入っているものを数えていくほうがいいように思えるのですが、やりたいことをもう少し説明お願いします。

[German_p0tat0]

ご返信ありがとうございます。
目的としましては図１(別のプログラムで作った)のようなヒートマップを作りたいです。
文字列に変化した経緯は
if y_str[i] in l[j][0] and z_str[i] in l[j][1]:
ここでfloatだとダメとエラーが出たからです。
私はseaborn.heatmapを使うために前処理をしていたつもりなのですが、matplotlib.pyplot.hist2d や seaborn.histplotがあるのですね調べてみます。ありがとうございます。
また、前者で進めるとしたら、難しいでしょうか？

[German_p0tat0]

追記：matplotlib.pyplot.hist2dで実行してみた(図２，図３)のですが、binの値を調節しても図1のように滑らかにならないのと、閾値が変えられないせいか全体的に薄くなりました。目標としてはグレースケールでプロットされてる所とされてない所の色の差が大きくなってほしいです。

[bsdfan]

目標に近いのは seaborn.kdeplot のような気がします。
上記のカーネル密度推定は簡単ではないですが、シンプルなヒートマップなら手動でも、縦と横の要素数の二次元配列を用意して、データを数えていけばできると思います。(numpy.histgram2dを使えば一発ですが)

[German_p0tat0]

ご返信ありがとうございます。
seaborn.kdeplotでパラメータを調節した結果を図４に追加しました。イメージに近いのですが、カーネル密度推定を表示しているせいか、表示が大まか(ぼやけてる)になってしまいます。
matplotlib.pyplot.hist2dのように細かいデータもありつつ、seaborn.kdeplotのような滑らかに表示させたいです。。。

[bsdfan]

bw_adjust で調整できないでしょうか。デフォルトが1で、小さくしていけばいいと思います。どれぐらいが最適かは実際のデータで試してもらわないとわかりません。

[German_p0tat0]

それなのですが、僕も0.5以下にして試したのですが、以下のようなエラーが出てしまうんですよね。
ValueError: Contour levels must be increasing

[bsdfan]

エラーについては、ちょっとわからないです。データの分布が偏ってるとかなんでしょうか。
できそうなのは、その他のパラメータいじって試してみるぐらいか、
もしくはnumpy.histgram2dで二次元マップを作って、matplotlib.pyplot.contourf を試してみるかですかね。こちらの方が閾値とかは簡単に調整できるかも。
あまりお役に立てずすいません。

[German_p0tat0]

ご返信ありがとうございます。
はい、ほかのパラメータもAPI referenceやったのですが、うまくいかなかったです。
また、今考えている原因としては、データの範囲が大きすぎるのではないかという点なので、調整していこうと思います。
長々とお世話をかけました、ご協力ありがとうございました！

Answer 1

import numpy as np
import matplotlib.pyplot as plt

x=[]
y=[]
xedges=[]
zedges=[]

x = df["X"].to_list()
y = df["Y"].to_list()

xedges=xdege
zedges=zdege

H, xedges, zedges = np.histogram2d(x, y, bins=(xedges, zedges))
H = H.T

X, Y = np.meshgrid(xedges, zedges)
ax.pcolormesh(X, Y, H)

plt.show()

こんなんでいかがでしょうか？
なめらかとは程遠いですが・・・・・

Comments

[German_p0tat0]

ご返信ありがとうございます。
参考にさせていただきます。。

Answer 2

以下を試してみてはどうでしょうか？

• contour plot を使う
• scatter plot で size=重複回数

モノクロ縛りがなければ、色を適用するのもあり

Comments

[German_p0tat0]

ご返信ありがとうございます。
参考にしてみます。
ただ、顕著性マップと差分を取りたいので、モノクロのほうが都合がいいかなと考えています。