Python dataframeの縦結合について

以下のような2つのdataframe(df_A、df_B)をdfのように結合したいのですが、どうすればよいのでしょうか。
内容としては、結合する2つのデータフレームの行が共通しており、共通部分の値が同じであることを確認して、同一であれば1行にまとめて結合するという操作をしたいです。

df_A
timestamp value
100 5
200 10

＋

df_B
timestamp value
200 10
300 30

↓

df
timestamp value
100 5
200 10
300 30

appendを使うとtimestampが200の行が共通してしまいますし、mergeですとvalue_xとvalue_yに分かれてしまいます。
よろしくお願いします。

追記
同一でない場合はエラーを返すような形が望ましいです。
よろしくお願いします。

magichan

2019/09/24 00:37

「共通部分の値が同じであることを確認して、同一であれば1行にまとめて結合するという操作をしたいです。」とありますが、同一でない場合はどうするべきなのでしょうか？

行動規範の内容に同意します

回答3件

ベストアンサー

１. データが不整合している箇所の判定

timestampが同じ行同士のvalueの値を比較して、値が異なる行が有るか否かで判定します。
具体的には

pd.merge()を使い、共通の''timestamp''存在する行同士を横結合する
それぞれのvalueの値が不一致の箇所を検索し、不一致の箇所があるならばエラー

と書くと複雑ですが、コードに落とすと

Python
1# ミスマッチの行を格納するDataFrame
2mismatch_df = df_A.merge(df_B, on='timestamp', how='inner').query('value_x != value_y')
3# ミスマッチの行が存在するか？（DataFrameが空ではない？）
4if not mismatch_df.empty:
5    # ミスマッチが存在する

となります。

２. データが結合

データフレームの結合は１．の処理により、データが不整合している箇所がないという前提であれば、

２つのデータフレームをpd.concat() で縦結合する
重複している行を削除

で良いかと思います。

以上、上記を実装すると以下のようになります。

Python
1import pandas as pd
2import sys
3
4df_A = pd.DataFrame({'timestamp':[100, 200, 300], 'value':[5, 10, 16]})
5df_B = pd.DataFrame({'timestamp':[300, 400, 500], 'value':[15, 20, 30]})
6
7# timestampが共通で、データが不一致の行を抜き出す
8mismatch_df = df_A.merge(df_B, on='timestamp', how='inner').query('value_x != value_y')
9# 上記の結果が空でないならばエラー
10if not mismatch_df.empty:
11    # データの不一致の場合
12    print("### ERROR : データ不一致 ###")
13    print(mismatch_df.set_index('timestamp', drop=True))
14    sys.exit()
15
16# データを縦結合して、重複している行を削除する
17df = pd.concat([df_A, df_B]).drop_duplicates().reset_index(drop=True)
18print(df)