複数のcsvを読み込み、重複する行を削除したうえで新しいcsvを作りたい

Question

２つのcsvを読み込み、データを合体させ、重複する行を削除し、新しいcsvを作りたいのですが、効率良い方法をご存知の方がいらっしゃればご教示いただければ幸いです。

なお２つのcsvはヘッダーが同じデータです。

#word.csv

komoji,omoji #ヘッダー
aaa,AAA
bbb,BBB
ccc,CCC

#word_sub.csv

komoji,omoji #ヘッダー
aaa,AAA
bbb,BBB

komoji,omoji #ヘッダー 
ccc,CCC      # ← csv1とcsv2で重複しない行が残るイメージ

最初は、pandasで読み込み、mergeさせた後、二つのデータから重複するものを削除する方法で考えていましたがうまくできませんでした。他のやり方でも効率良い方法があ

df1 = pd.read_csv('word.csv')　   #csv1_word.csvの取り込み
df2 = pd.read_csv('word_sub.csv') # csv2_word_sub.csvの取り込み
df3 = df + df2   
print(df3)

みたいにすると、、
aaacccc,AAABBB
Nan Nan
Nan Nan のように出力されます。

Answer 1

以下のようにpd.merge(をhow='outer'、indicator=Trueで実行することで、各行がどちらに含まれているかが分かるようになるので、両方に含まれる行を除くことで望む結果が得られます。

参考：how to identify whats NOT in the inner join during dataframe merge

import pandas as pd

# テストデータ
sr1 = pd.Series(list('abc'))
sr2 = pd.Series(list('bcd'))
df1 = pd.DataFrame({'low':sr1, 'up':sr1.str.upper()})
df2 = pd.DataFrame({'low':sr2, 'up':sr2.str.upper()})

df = pd.merge(df1, df2, how='outer', on=df1.columns.tolist(), indicator=True)
print(df)
#  low up      _merge
#0   a  A   left_only
#1   b  B        both
#2   c  C        both
#3   d  D  right_only

df = df.query('_merge != "both"').drop(columns='_merge').reset_index(drop=True)
print(df)
#  low up
#0   a  A
#1   d  D

Comments

[taboopython]

早速の回答誠にありがとうございます。素人的な質問で大変恐縮ですが、そもそも、
sr1 = pd.Series(list('abc'))
sr2 = pd.Series(list('bcd'))

を作るために、

word.csv（下記にも記載）のようなcsvをどのように料理すれば良いでしょうか？もし、適当なステップがございましたらご教示いただければ幸いです。
この場合ですと、low とupの列から、データを抽出するという感じになるのかとは思うですが。

low,up #ヘッダー
aaa,AAA
bbb,BBB
ccc,CCC

[8524ba23]

その部分はあくまでテスト的にデータを作成するためのコードです。
質問コードの
df1 = pd.read_csv('word.csv')
df2 = pd.read_csv('word_sub.csv')
のままでよいです。

[taboopython]

ありがとうございます！ようやく意味がわかり、うまくいきました！mergeの仕方とqueryを使いこなせるよう精進します！