Pandasのデータフレーム結合で特定の値だけにしたい。

Question

前提

pandasの初心者です。
今回、質問するにあたって使用するデータフレームは以下です。

import pandas as pd

df1 = pd.DataFrame(
    data={'user_id': [1,2,3,3,4,4],
          'contents_id': [11,12,11,13,14,15],
          'rating': [3,3,4,4,3,4]}
)
df2 = pd.DataFrame(
    data={'user_id': [5,5,5],
          'contents_id': [11,12,13],
          }
)
df2['rating'] = ""

実現したいこと

前提で示したデータフレームを使って、df1とdf2を結合したいと考えております。
結合する際に、「df2の”contents_id”のみを残して、df1にdf2のuser_idを追加」を条件として結合したいです。
結果としては、以下のように出力されることを想定しています。

user_id	contents_id	rating
1	11	3
3	11	4
5	11
2	12	3
5	12
3	13	4
5	13

<達成したい項目>
・contents_idが、df2のものしか存在しない。
・user_idに、df2の「5」が追加されている。

該当のソースコード

cols = ['user_id', 'contents_id', 'rating']
new_df = pd.DataFrame(index=[], columns=cols)

for i in df2['contents_id']:
        for j in df1['contents_id']:
            if i == j:
                e1 = df1[df1['contents_id'] == j]
                e2 = df2[df2['contents_id'] == i]
                new_df = new_df.append(e1)
                new_df = new_df.append(e2)

試したこと

該当のソースコードのように、無理やりforで回して一致したら新たなデータフレームに追加という荒業を行いました。

が、テストデータでなく本データですると凄く時間がかかってしまったりするので、結合方法でなにか賢い方法がないかと質問させていただきました。

よろしくお願いします。

Answer 1

dfx = pd.concat([df1, df2]).query('contents_id in @df2["contents_id"]').sort_values('contents_id')
print(dfx.to_markdown(index=False))

user_id	contents_id	rating
1	11	3
3	11	4
5	11
2	12	3
5	12
3	13	4
5	13

Comments

[tasojiro]

目的の結果を出力することが出来ました。
ありがとうございます！

Answer 2

同じく速いかどうかわかりませんが参考まで

import pandas as pd

df1 = pd.DataFrame(
    data={'user_id': [1,2,3,3,4,4],
          'contents_id': [11,12,11,13,14,15],
          'rating': [3,3,4,4,3,4]}
)
df2 = pd.DataFrame(
    data={'user_id': [5,5,5],
          'contents_id': [11,12,13],
          }
)
df2['rating'] = ""
df3 = pd.concat([df1[df1['contents_id'].isin(df2['contents_id'])], df2]).sort_values('contents_id').reset_index(drop=True)
print(df3)

Comments

[tasojiro]

目的の結果を出力することが出来ました。
ありがとうございます！

Answer 3

速いかどうかは分かりません。

df = pd.concat([df1, df2]).sort_values("contents_id")
df[df["contents_id"].isin([contents_id for contents_id in df1["contents_id"].values if contents_id in df2["contents_id"].values])]
#	user_id	contents_id	rating
#0	1	11	3
#2	3	11	4
#0	5	11	
#1	2	12	3
#1	5	12	
#3	3	13	4
#2	5	13	

Comments

[tasojiro]

目的の結果を出力することが出来ました。
ありがとうございます！
どの投稿も同じ結果が得られましたが、投稿が一番早かったのでBAとさせていただきます。