pandasのDataFrameのCompareが何をしているのかを知りたい。

Question

前提・実現したいこと

pandasのDataFrameのCompareが何をしているのかを知りたい。

pandas.DataFrame.compare
これを読むと、差分を出力してくれる。という事はわかります。
ただ、差があるとはどうやって判定しているのかが分りません。

pandasからSource RepositoryをクリックしてGithubへ行って、DataFrameのクラスの定義から
compareのメソッドの定義を見てみたのですが
途中から追いかける事が出来ず、正確に何をしているのかが読み取れませんでした。

試したこと

import pandas as pd

class MyClass :
    user_name = None
    age = None
    def __str__(self) -> str:
        return "名前:{0}、年齢:{1}".format ( self.user_name , self.age )
    def __eq__(self, __o: object) -> bool:
        return self.age==__o.age

user1 = MyClass()
user1.user_name="takeda"
user1.age=12

user2 = MyClass()
user2.user_name="takeda2"
user2.age=13

user3 = MyClass()
user3.user_name="takeda3"
user3.age=12

a=[user1,user3,user3]
b=[user3,user2,None]

df1=pd.DataFrame({'A':a})
df2=pd.DataFrame({'A':b})

print(df1.compare(df2))

この結果が
                  A
               self             other
1  名前:takeda3、年齢:12  名前:takeda2、年齢:13
2  名前:takeda3、年齢:12              None

となり、user1とuser3はuser_nameが違うにも関わらず同じと判定しており
user3とNoneも違うと判定してくれています。

この事からNoneとNone以外は違うと判定して
その後、==つまり__eq__で判定して__str__で内容を出力してくれるのだと感じます。

この解釈で有っているのでしょうか。
何かご存知の方よろしくお願いします。

気になった理由

二つのDataFrame間の差分を調べる事があったのですが
本当にちゃんと差分を出力してくれているのかが気になり
その為、どういう風に差分の出し方をしているのかが疑問になった次第です。

Answer 1

pandas.DataFrame.compare() の実体は pandas.core.frame.NDFrame.compare で、ソースコードは以下になります。
pandas.core.frame.NDFrame.compare

処理内容を大幅に簡略化すると以下の様になっていますので、1ステップづつ確認するとよいかと思います。

mask = ~(df1 == df2)
df1 = df1.where(mask)
df2 = df2.where(mask)

cmask = mask.any()         # column mask
rmask = mask.any(axis=1)   # row mask
df1 = df1.loc[rmask, cmask]
df2 = df2.loc[rmask, cmask]

diff = pd.concat([df1, df2], axis=1, keys=['self', 'other'])

print(diff)

#
               self             other
                  A                 A
1  名前:takeda3、年齢:12  名前:takeda2、年齢:13
2  名前:takeda3、年齢:12              None

Comments

[xail2222]

ちょうどそこからわからなくなった所でした。

~((self == other) | (self.isna() & other.isna()))
としている「(self.isna() & other.isna())」が理由でDataFrame同士の==とcompareが違う結果となるってことなのですね。

後は、DataFrameの親クラスであるNDFrameに対して、df1 == df2なので、NDFrameの__eq__を使っているのですよね。

このNDFrameの__eq__の実体が、どのように定義されているかを調べる方法はわかりますでしょうか。

[melian]

実は NDFrame の __eq__ は使われていないのです。使われているのは df1 や df2 の中身(カラム A) である、MyClass.__eq__ が使われているのです。つまり、
user1 == user3 が True になるから、がこの結果の原因なのです。

[xail2222]

ん…
class NDFrame(PandasObject, indexing.IndexingMixin):
の中の次のメソッド
def compare(
self,
other,
align_axis: Axis = 1,
keep_shape: bool_t = False,
keep_equal: bool_t = False,
):
の中の
self == other
ですよね。
なのでselfはNDFrameじゃないのですか？
だとするとself == otherでは、NDFrame の __eq__ が使われているのではないでしょうか。

確かに実際に最下位で使われているのはMyClass.__eq__ だとは思うのですが…

[melian]

self == other とする場合、これはデータフレーム(NDFrame 型のインスタンス)の同名の列の要素ごとの比較になります。

[xail2222]

確かにそれに似た仕様だとは思うのですが、それを実現するための実装はどこでどうやっているのかな？と思った次第です。

実際私の質問に記載した例であれば、__eq__は2回しか呼ばれませんでした。
その為、ただ単に要素ごとに__eq__を呼んでいるわけではないと感じました

[melian]

a=[user1,user3,user3]
b=[user3,user2,None]
となっていて、b に None が含まれていますので 2 回しか呼ばれません。

NDFrame には __eq__ が無いので、親クラスを調べています。何か判ったらまたコメントします。

[xail2222]

>となっていて、b に None が含まれていますので 2 回しか呼ばれません。

確かに、結果はそうだと思います。
しかし「print(user3 == None)」を実行すると、MyClass.__eq__が呼び出されエラーが発生します。
つまり、要素をそれぞれチェックし一方がNoneであれば、比較しないという処理が実装されているものだと思われます。

＞NDFrame には __eq__ が無いので、親クラスを調べています。何か判ったらまたコメントします。

すみません。お手数おかけしています。
私には今の所、追い切れていないです。

動作から仕様をある程度、推測することは出来るのですが…

[melian]

最終的に、
_cmp_method(self, other, op)
https://github.com/pandas-dev/pandas/blob/master/pandas/core/frame.py#L6922
から
_dispatch_frame_op（self, right, func: Callable, ...)
https://github.com/pandas-dev/pandas/blob/master/pandas/core/frame.py#L6945
へと辿り着きました。

[xail2222]

ありがとうございます。

色々試していると、pandasが途中までデバッグ実行出来たのでその後追っていると

result = libops.vec_compare(x.ravel(), y.ravel(), op)
https://github.com/pandas-dev/pandas/blob/master/pandas/core/ops/array_ops.py#L74

ここまではステップ実行できました。
この後がステップインしてくれなくて、追い切れませんでした。
libops、opsのソースもよくわからないし、公開されている所だと、ここまでということでしょうか。

[xail2222]

中身が良くわからないbuilt-in functionに行きついてしまってよくわからなかったのですが
しかし「mask = ~((self == other) | (self.isna() & other.isna()))」という事から
==との差異がわかり、==は、個別比較した結果を返すということで納得することにします。

個別要素のNoneとNone以外の比較時は、==を使わずFalseで返す。というところの処理まで見たかったですが、動作から多分それで間違いないと思うので、ここで終わりとします。

色々とありがとうございました。

[melian]

はい、了解です。ベストアンサーにお選びいただき、どうもありがとうございました。

Answer 2

• この事からNoneとNone以外は違うと判定して

その後、==つまり__eq__で判定して

その考え方だと、

>>> df3 = pd.DataFrame({'A':[1,2,3]})
>>> df3.compare(df1)
     A
  self                  other
0    1   名前:takeda、年齢:12
1    2  名前:takeda3、年齢:12
2    3  名前:takeda3、年齢:12
>>> 1 == user1
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 7, in __eq__
AttributeError: 'int' object has no attribute 'age'
>>> user1 == 1
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 7, in __eq__
AttributeError: 'int' object has no attribute 'age'

が説明できないのではないでしょうか。
Noneであるかどうかに関係なく__eq__が失敗すれば等しくないと判断しているのでしょう。

• __str__で内容を出力してくれるのだと感じます。

>>> diff = df1.compare(df2)
>>> type(diff.iloc[0,0])
<class '__main__.MyClass'>

ですので、diffの段階では、__str__はまだ使われていません。表示する段階で、pandasDataFrameの仕様として__str__が使われます。

>>> diff
                       A
                    self                  other
1  名前:takeda3、年齢:12  名前:takeda2、年齢:13
2  名前:takeda3、年齢:12                   None

Comments

[xail2222]

確かにNone じゃない同士の判定で__eq__を使っているとするとおかしいですね。あと、__str__もprintの時点で出力されるという事ですね。

指摘ありがとうございます。

[xail2222]

>Noneであるかどうかに関係なく__eq__が失敗すれば等しくないと判断しているのでしょう。

の部分ですがvscodeでprint(df1.compare(df2))の所をステップインした所
定義した__eq__の関数が２回しか呼ばれませんでした。

この事から、型もチェックしているのでは？という感じがしました。

またdf3.compare(df1)は回答頂いた通りの動作でしたが
df1.compare(df3)はエラーが発生して動作しませんでした。
__eq__でエラーが発生した場合はトラップせずにそのままエラーだと思いました。