【pandas】列に浮動小数点を含むDataFrame同士の比較方法

Question

pandasのDataFrameを戻り値とする関数をテストする中で、
期待値として用意したDataFrameと、出力値のDataFrameの比較結果が一致しません。

期待値と出力値をそれぞれコンソールに出力してみましたが、
見た目上は同じ値となっています。

ただ、テスト対象の関数にて、浮動小数点の乗算を行っており、
この箇所が原因となり、期待値と出力値が一致しないのではないかと考えています。

もしかすると、pytestの書き方にも原因があるかもしれませんが、
浮動小数点を含むDataFrame同士の比較をどのように書けばよいでしょうか？

---

• テスト対象の関数(model.py)

import pandas as pd

def calc_square(df) -> pd.DataFrame:
    df_result: pd.DataFrame = df.copy()
    df_square: pd.DataFrame = df['height'] ** 2
    df_result.insert(2, 'height^2', df_square)
    return df_result

• テストケース(test_model.py)

import pandas as pd
import model

def test_01():
    # 入力値
    dict_input = {'name': ['userA'], 'height': [1.11]}
    df_input: pd.DataFrame = pd.DataFrame(data = dict_input)
    # 期待値
    dict_expected = {'name': ['userA'], 'height': [1.11], 'height^2': [1.2321]}
    df_expected: pd.DataFrame = pd.DataFrame(data = dict_expected)
    # 出力値
    df_output: pd.DataFrame = model.calc_square(df_input)
    # 比較
    assert df_expected.equals(df_output)

• テスト実行結果(一部抜粋)

E       assert False
E        +  where False = <bound method NDFrame.equals of     name  height  height^2\n0  userA    1.11    1.2321>(    name  height  height^2\n0  userA    1.11    1.2321)
E        +    where <bound method NDFrame.equals of     name  height  height^2\n0  userA    1.11    1.2321> =     name  height  height^2\n0  userA    1.11    1.2321.equals

tests\src\test_model.py:41: AssertionError
=============================================== short test summary info ===============================================
FAILED tests/src/test_model.py::test_0１ - assert False
============================================= 1 failed in 2.50s =============================================

---

■追記

DataFrame同士で比較するために、比較関数を作成する必要があるとのことで、
当初の質問のような、DataFrame同士の比較という形ではなく、
DataFrameの列単位での比較という形でテストを実装しました。

• テストケース(test_model.py)

import pandas as pd
import model

def test_01():
    # 入力値
    dict_input = {'name': ['userA'], 'height': [1.11]}
    df_input: pd.DataFrame = pd.DataFrame(data = dict_input)
    # 期待値
    dict_expected = {'name': ['userA'], 'height': [1.11], 'height^2': [1.2321]}
    df_expected: pd.DataFrame = pd.DataFrame(data = dict_expected)
    # 出力値
    df_output: pd.DataFrame = model.calc_square(df_input)
    # 比較
    assert df_expected.equals(df_output.round(4)       # round()にて小数点以下4桁で丸め

Answer 1

浮動小数の配列同士を比較する場合はnp.allclose()を用います。
numpy.allclose — NumPy Manual

df1 = pd.DataFrame([[1.11 ** 2]])
df2 = pd.DataFrame([[1.2321]])

all(df1 == df2)  # -> False
df1.equals(df2)  # -> False
np.allclose(df1, df2)  # -> True

Comments

[kara1]

ご回答ありがとうございます。
NumPyを使用することで、浮動小数同士の比較が可能なのですね。

NumPyを使った例も試してみます。
ありがとうございました。

Answer 2

原因は浮動小数点数として異なるからです。
以下のように表示桁数を変更して見ればわかります。

>>> df1 = pd.DataFrame([[1.11 ** 2]])
>>> df2 = pd.DataFrame([[1.2321]])
>>>
>>> with pd.option_context('display.precision', 16):
...     print('df1 :')
...     print(df1)
...     print('df2 :')
...     print(df2)
...
df1 :
   0
0  1.2321000000000002
df2 :
   0
0  1.2321
>>> with pd.option_context('display.precision', 4):
...     print('df1 :')
...     print(df1)
...     print('df2 :')
...     print(df2)
...
df1 :
   0
0  1.2321
df2 :
   0
0  1.2321

解決するには、対象が浮動小数点数を何らかの形で含む場合には誤差が指定した範囲にあるかどうかを調べるような比較関数を自分で作成するしかありません。
汎用的に使えるものを作るとなると、一ヶ月で作るのは難しいように思います。
本当に汎用的なものを作るのは無理です。
テストに必要な機能に限定して、比較関数を作成するしかありません。

Comments

[kara1]

ご回答ありがとうございます。
また、例を用いて内部で浮動小数点がどのように解釈されているかを提示いただき、ありがとうございます。

比較関数を自分で作成するしかない、という着地点が見えただけでも、
質問して良かったです。

今回は当初の質問の意図とは離れてしまいますが、
DataFrame同士の比較という形ではなく、
DataFrameの中の列単位での比較にてテストを実装しました。

根本的な解決...というわけではないですが、こちらのコードを追記して、
私の中では質問はクローズとさせていただきます。

ありがとうございました。