pandas dataframeにおいてunique()メソッドで取得したnanのtype,bool値について

Question

pandasのDataFrameのunique()メソッドで取得した欠損部nanについてですが、
bool値でnp.nan、pd.np.nanなどでbool値を取得しようとすると全てFalseになってしまいます。
typeメソッドではclass floatのnanとなっていると思うのですが、df.unique()で取得したnanに対してbool値でTrueにするにはどうしたらいいでしょうか。

初歩的な質問ですみませんが、調べてもわかりませんでした。
よろしくお願いいたします。

import numpy as np
import pandas as pd
import math

uniques_=df_train["columns[1]"].unique()
print(uniques_)
#出力：['TA' 'Fa' 'Gd' nan 'Ex' 'Po']
#uniques_で出力したnanはどういう扱いなのか。
type(uniques_[3])
#nanはclass floatとして認識されている

#以下のbool値は全部Falseになる
print(uniques_[3]==pd.np.nan)
print(uniques_[3]==np.nan)
print(uniques_[3]==math.nan)
print(uniques_[3]==None)
#出力：
#False
#False
#False
#False

Answer 1

概要

NaN は NaN 自身との等号比較で False となるように仕様で定められているため、uniques_[3] はたしかに NaN だが、uniques_[3] == NaN の結果は False になる。

print(np.nan == np.nan)  # False

NaN かどうかの判定は pandas.isnull で行う。

詳細

Pandas の NaN は浮動小数点型の NaN として表されています。
この浮動小数点数の仕様は IEEE754 という規格に従っており、その規格内で NaN は NaN 自身との等号比較は false となるように定められています。
NaN は Not a Number の略で0除算 (例: 1 / 0) や sqrt(-1) など数学的に定義されない演算を行った結果を表すために用意されている特殊な値です。
不正な結果に至った原因はいろいろ考えられますが、それらがイコールとすると、混乱を生むのでそのような仕様になっています。もしそうでないと、1 / 0 == sqrt(-1) が True になってしまいます。

Comments

[yohehe]

tittoi様ありがとうございます。
nanを等号で比較すること自体が間違っていたのですね。
いろいろ試してもFalseと出力されるのは適切だったのですね。勉強になりました。
pandasのisnull()メソッドでアクセスし直すようにします。
ありがとうございます。