python pandas 近似値を使った横結合 の方法

Question

ご指導をお願いします。

<手元のデータ>
dfa：住所、緯度_x、経度_x、2000行
dfb：緯度_y、経度_y、10行

＜やりたいこと＞
・dfbの（緯度_y、経度_y）に最も近いdfaの住所を、dfbに追加したい。

＜困っている事＞
・（緯度_y、経度_y）と（緯度_x、経度_x）は一致しない。
・(緯度_y、経度_y)→(緯度_x、経度_x)の最短距離１ と　
逆の　(緯度_x、経度_x)→(緯度_y、経度_y)の最短距離２が何故か完全一致せず、
最短距離をキーにしてmergeが使えない。

＜やった事＞
・(緯度_y、経度_y)→(緯度_x、経度_x)の最短距離１ と　
逆の　(緯度_x、経度_x)→(緯度_y、経度_y)の最短距離２を算出し、
最短距離をキーにしてmergeしてみた。
・.round(6)をつかって、有効桁数をdfaとdfbで合わせた。

＜やった事＞のコード
        a = dff_d[['緯度','経度']].values
        b=df[['緯度','経度']].values
　　　#(緯度_y、経度_y)→(緯度_x、経度_x)の最短距離１を算出
        dist = distance.cdist(a, b, metric='euclidean')
        Lmin = np.min(dist, axis=1)
        dff_d['最小距離']=Lmin
　　　#(緯度_x、経度_x)→(緯度_y、経度_y)の最短距離２を算出
        dist = distance.cdist(b a, metric='euclidean')
        Lmin = np.min(dist, axis=1)
        df['最小距離']=Lmin
　　　#マージ
        dff_d=pd.merge(df,dff_d,how='left',on='最小距離')

Comments

[tiitoi]

もう一方の DataFrame に距離が同じ行が複数ある場合はどのように紐付けるのでしょうか？

[icemanstanding]

遅くにご回答ありがとうございました。
そのときは、経度差の小さい方を優先して残していました。
実際には、経度を範囲毎にfor文で回しているので、
同一経度範囲内で最短距離が6桁まで一致することはないと・・・・
今、思うと楽観的でしたね。

Answer 1

両方ともgeopandaのGeoDataFrameにしてsjoin_nearestを使うのはどうでしょう。

Answer 2

位置参照情報 ダウンロードサービス から東京都の街区レベルの緯度・経度情報を入手してデータフレーム化してみました。

print(dfa)

#
                            住所       緯度        経度
0       東京都千代田区麹町六丁目1  35.684649  139.731373
1       東京都千代田区麹町六丁目5  35.684649  139.731373
2           東京都千代田区六番町6  35.687614  139.732787
3           東京都千代田区六番町8  35.687614  139.732787
4          東京都千代田区六番町10  35.687614  139.732787
...                           ...        ...         ...
273283      東京都小笠原村母島157  26.642729  142.161107
273284      東京都小笠原村母島158  26.642729  142.161107
273285      東京都小笠原村母島159  26.642729  142.161107
273286      東京都小笠原村母島160  26.642729  142.161107
273287      東京都小笠原村母島161  26.642729  142.161107

[273288 rows x 3 columns]

dfbの（緯度_y、経度_y）に最も近いdfaの住所を、dfbに追加したい。

import pandas as pd
from scipy.spatial import distance

dfb = pd.DataFrame(
  [
    [35.6585840, 139.7454316], # 東京タワー
    [35.7100069, 139.8108103], # 東京スカイツリー
    [35.6842961, 139.8647716], # 船堀タワー(タワーホール船堀)
  ], columns = ['緯度', '経度']
)

idx = distance.cdist(dfa[['緯度', '経度']], dfb, metric='euclidean').argmin(axis=0)
dfb['住所'] = dfa.loc[idx, '住所'].values

print(dfb)

#
        緯度        経度                      住所
0  35.658584  139.745432    東京都港区芝公園四丁目2
1  35.710007  139.810810    東京都墨田区押上一丁目1
2  35.684296  139.864772  東京都江戸川区船堀四丁目1

Comments

[icemanstanding]

毎回、ありがとうございます。（特に今回は深夜に）

Answer 3

以下のようにしてはどうでしょうか？

import numpy as np
import pandas as pd

df1 = pd.DataFrame(
    {
        "Name": list("ABCDEFGHIJ"),
        "X": np.random.randint(0, 255, 10),
        "Y": np.random.randint(0, 255, 10),
    }
)


df2 = pd.DataFrame(
    {
        "Name": list("abcdef"),
        "X": np.random.randint(0, 255, 6),
        "Y": np.random.randint(0, 255, 6),
    }
)

loc1 = df1[["X", "Y"]].values
loc2 = df2[["X", "Y"]].values

# loc1 と loc2 のユークリッド距離を計算する。
dist_matrix = np.linalg.norm(loc1[:, np.newaxis] - loc2, axis=-1)  # 距離関数は緯度経度ならユークリッド距離以外に適宜差し替える

# loc1 の行ごとに、距離が最短の loc2 の行のインデックスを求める。
nearest_idx = np.argmin(dist_matrix, axis=1)

# 横方向に結合する。
df3 = pd.concat((df1, df2.iloc[nearest_idx].reset_index()), axis=1)
print(df3)

Comments

[icemanstanding]

深夜にご対応いただき、ありがとうございます。