pandasでのデータ処理のヒントが欲しい

Question

実現したいこと

以下のような２つのデータがある場合に、
df_aファイルに欠損値である1980-12-28の行だけ追加したいです。

df_a

key	date	value
1852	1979-11-30	100
1852	1980-01-31	110
1852	1980-02-29	120
1852	1980-03-31	130

df_b

key	date	value
1852	1979-10-30	90
1852	1979-11-30	100
1852	1979-12-28	100
1852	1980-01-31	110
1852	1980-02-29	120
1852	1980-03-31	130
1852	1980-04-29	140

試したこと

mergeしてから前行で埋めて、その後に埋められなかった行を削除することを考えましたが、
そうすると不要な1980-04-29に値が入ってしまいます。

# データを結合
merged_df = df_a.merge(df_b, how='right', on=['date'])
display(merged_df)

## valueを補完
merged_df['value'] = merged_df['value'].fillna(method='ffill')
display(merged_df)

何かアイディアあれば教えていただきたいです。
よろしくお願いいたします。

Answer 1

import pandas as pd
import io

csv_a = '''
key,date,value
1852,1979-11-30,100
1852,1980-01-31,110
1852,1980-02-29,120
1852,1980-03-31,130
'''
df_a = pd.read_csv(io.StringIO(csv_a), parse_dates=['date'])

csv_b = '''
key,date,value
1852,1979-10-30,90
1852,1979-11-30,100
1852,1979-12-28,100
1852,1980-01-31,110
1852,1980-02-29,120
1852,1980-03-31,130
1852,1980-04-29,140
'''
df_b = pd.read_csv(io.StringIO(csv_b), parse_dates=['date'])

#
idx = df_b['date'].between(df_a['date'].min(), df_a['date'].max())
merged_df = pd.concat([df_a, df_b[idx]]).drop_duplicates('date').sort_values('date').reset_index(drop=True)
print(merged_df)

#     key       date  value
# 0  1852 1979-11-30    100
# 1  1852 1979-12-28    100
# 2  1852 1980-01-31    110
# 3  1852 1980-02-29    120
# 4  1852 1980-03-31    130

Comments

[mn.py]

ありがとうございました！無事できました！
between使ったことなかったので、とても参考になります！
ありがとうございましたm(_ _)m