DataFrame: df1の要素とdf2の要素をマッチングさせdf1に新しい要素を加えたい。

Question

前提・実現したいこと

事業所のデータ
df1 = pd.DataFrame({
"office":["a","b","c","d"],
"address":["堺市堺区","練馬区","川崎市中原区", "千代田区"],
"year":[2016,2017,2016,2018]})

市区町村ごとの地価データ
df2 = pd.DataFrame({
"place":["大阪府大阪市此花区", "大阪府堺市堺区", "東京都品川区","東京都練馬区","川崎市中原区","東京都千代田区","大阪府大阪市此花区", "大阪府堺市堺区"],
"year":[2017,2017,2016,2017,2016,2018,2016,2016],
"price"["100万","20万","130万","90万","70万","200万","80万","15万"]})

において、
1 [事務所iの"address"と地価データの"place"]および[事務所iの"year"と地価データの"year"]の二つの条件をつけて、
2 地価データの地価("price")を検索し、
3 見つけた"price"を事務所データに新しい列"price"として追加したいです。

どのようなコードを組めば回すことができるでしょうか。

補足：実際には事務所データは2万、地価データは4000程度あるので、できるだけ早く処理できるコードが大変ありがたいです。

発生している問題・エラーメッセージ

何度か試みましたが、事務所データに"price"列を作ることはできませんでした。

該当のソースコード

from tqdm import tqdm

for i in tqdm(range(len(df1))):
    if df.loc[i,"year"] == 2018:
        for j in range(len(df2)):
            if df.loc[i,"address"] in str(df2.loc[j,"place"]):
                df.loc[i,"price"] = df2.loc[j,"price"]
for i in tqdm(range(len(df1))):
    if df.loc[i,"year"] == 2017:
        for j in range(len(df2)):
            if df.loc[i,"address"] in str(df2.loc[j,"place"]):
                df.loc[i,"price"] = df2.loc[j,"price"]

for i in tqdm(range(len(df1))):
    if df.loc[i,"year"] == 2016:
        for j in range(len(df2)):
            if df.loc[i,"address"] in str(df2.loc[j,"place"]):
                df.loc[i,"price"] = df2.loc[j,"price"]

補足情報（FW/ツールのバージョンなど）

よろしくお願いいたします。

Answer 1

こんな感じでどうでしょう

address_to_place = {
    address: place
    for address in df1['address']
    for place in df2['place']
    if place.endswith(address)
}
result = df1.copy()
result['place'] = df1['address'].apply(address_to_place.get)
result = pd.merge(result, df2, on=['place', 'year'])
result = result.drop(columns=['place'])

print(result)

  office address  year price
0      a    堺市堺区  2016   15万
1      b     練馬区  2017   90万
2      c  川崎市中原区  2016   70万
3      d    千代田区  2018  200万

Comments

[tatpka]

ありがとうございます！辞書作って結合させるってのがわかりやすかったです！
無事結合に成功しました！

Answer 2

ちょっと内容が込み入っているので、分けますが、

まず、ちょっとデータに表記ブレが見受けられます。
具体的には、堺市堺区と大阪府堺市堺区や東京都練馬区など、都道府県つきかそうでないかがまちまちになっているので、これを統一し、（説明のために事務所eのデータを1つ追加して）以下のデータを前提にします

# 事務所データ？
df1 = pd.DataFrame({
"office":["a","b","c","d","e"],
"address":["堺市堺区","練馬区","川崎市中原区", "千代田区","千代田区"], 
"year":[2016,2017,2016,2018,2017]})

# 市区町村ごとの地価データ
df2 = pd.DataFrame({
"place":["大阪市此花区", "堺市堺区", "品川区","練馬区","川崎市中原区","千代田区","大阪市此花区", "堺市堺区","千代田区"],
"year":[2017,2017,2016,2017,2016,2018,2016,2016,2017],
"price":["100万","20万","130万","90万","70万","200万","80万","15万","1万"]}) 

実際に作業される際は、この観点でデータを一旦綺麗にしてから行ったほうがいいでしょう。

ある条件のもとに表の内容同士を結びつけるのはpandas.merge()で行えます。
今回の場合は左外部結合になると思いますので、

import pandas as pd

# ここに何らかの手段で上のDataFrameを読み込むコードを挿入してください
df3 = pd.merge(df1, df2, left_on='address', right_on='place',how='left')

こうすると、市区町村のみで条件付けして表ができます。すなわち[事務所iの"address"と地価データの"place"]の条件ですね。

	address 	office 	year_x 	place 	price 	year_y
0 	堺市堺区 	a 	2016 	堺市堺区 	20万 	2017
1 	堺市堺区 	a 	2016 	堺市堺区 	15万 	2016
2 	練馬区 	b 	2017 	練馬区 	90万 	2017
3 	川崎市中原区 	c 	2016 	川崎市中原区 	70万 	2016
4 	千代田区 	d 	2018 	千代田区 	200万 	2018
5 	千代田区 	d 	2018 	千代田区 	1万 	2017
6 	千代田区 	e 	2017 	千代田区 	200万 	2018
7 	千代田区 	e 	2017 	千代田区 	1万 	2017

これだともうひとつの条件が入らないのですが、残念ながらDataFrameは複数の条件で結合する作りになっていません。

なので、条件を加えて抽出してやります。これが[事務所iの"year"と地価データの"year"]にあたります。

df4 = df3[df3['year_x'] == df3['year_y']]

これで、お望みの結果が入ったDataFrame df4ができました。
あとは余計な列が入っているので、

del df4['year_y']
del df4['place']

などとしてやればいいでしょう。