outerによるデータ結合で減った行の確認の仕方と減った理由

Question

前提・実現したいこと

Python初心者です。pandasを使い、2つのデータフレームを2つのキーによりouterで結合しました。この時、以下のような状態になりました。

元データフレーム2つの行数の合計：450
2キーによりouterで結合した後のデータフレームの行数：448

このように結合後は2行減っています。この時、減った2行を確認するにはどうすればいいでしょうか。また、減った理由としては、結合時に使った2つのキーが重複していたからと考えてよいでしょうか。　　

試したこと

減った2行を確認するため、以下のコードを書きました。しかし、出力された行が多く、上記の結果とは合致しません。

# 2つのデータフレームを縦方向に結合する
import pandas as pd

df_inspect = pd.concat([df1, df2], join='outer')

# 重複行の抽出
df_inspect_dup = df_inspect[df_inspect.duplicated(subset=['hoge1', 'hoge2'], keep=False)]
display(df_inspect_dup)

環境

GoogleColaboratoryを使っています。

Comments

[ppaul]

outerで結合というのと、join='inner'というのはどちらが正しいのですか？

[k_matsumot]

ご指摘ありがとうございます。コードのほうの表記が違っていました。「outerで結合」が正しいです（自分の環境でouter以外にもいろいろな結合で実験していまして、コードにコピペする時に誤りました）。

[siruku6]

「元データフレーム2つの行数の合計：450」とあるのですが、たとえば、df1, が200行、df2が250行、というような意味でしょうか？

それとも、それぞれが450行ずつあるのでしょうか？

[can110]

確認のため、.concatで結合した直後にprint(len(df1), len(df2), len(df_inspect)) した結果を記載ください。

[k_matsumot]

siruku6様、ありがとうございます。元データフレームの2つの行数の合計は、df1・df2で異なっており、おっしゃる例で言うと、df1が200行、df2が250行という意味です。

[k_matsumot]

can110様、ありがとうございます。.concatで結合した直後にprint(len(df1), len(df2), len(df_inspect)) した結果、「123 325 448」と出力されました。

Answer 1

• 2つのデータフレームを2つのキーによりouterで結合しました。

結合方法が書かれていませんが、全体の文脈から考えてmergeかjoinを使って結合していると推定します。

その場合、結合した後のデータフレームの行数：448のように合計から減るのは当然です。以下をお読みください。

pandas.DataFrameを結合するmerge, join（列・インデックス基準

元の二つのDataFrameのそれぞれに'hoge1', 'hoge2'以外の列があるのであれば、重複しなかった列には必ずNaNが含まれます。
したがって、もともとのDataFrameにNaNがないならば、結合したDataFrameをdropnaすれば、重複していた列がわかるでしょう。dropnaの使い方は以下を読んでください。

pandasで欠損値NaNを除外（削除）・置換（穴埋め）・抽出