statsmodelsを用いた回帰分析で無限大またはNANが含まれているというエラーが解決できない

Question

statsmodelsを用いて回帰分析を行っているのですが、無限大またはnansが含まれているというエラーコードが解決できません

model=sm.OLS(y,x).fit()

としたところ

MissingDataError: exog contains inf or nans

というエラーが出たため,目的変数yおよび説明変数xがinfおよびnansでないかを関数で確認しましたが、それらに該当するセルはありませんでした。

確認方法はnullが

data.isnull().all()

infが

inf=x.apply(lambda x:1 if x == "inf" else 0)
inf.describe()

です。
またxは１変数でおよそ15000行、範囲は-13.250000~10.770000です。
ちなみにlinear_regressionで同様の回帰分析を行いましたが、似たようなエラーがでました。

Comments

[meg_]

> 目的変数yおよび説明変数xがinfおよびnansでないかを関数で確認しましたが
確認したコードを掲載ください。

[tyobi]

追記依頼ありがとうございます。確認に用いたコードを追記しました。

[meg_]

yについては調べたわけではないのでしょうか？ ちなみにx,y,dataの型は何でしょうか？

[tyobi]

yについても同様に調べました。dataはyおよびxに用いる値が含まれたDataframeでx,yはfloatです。

[coco_bauer]

NaNかどうかを、numpy.isnan()で調べるのでは？　質問ではNullかどうかを調べていますが、エラーメッセージは「exog contains inf or nans」なのですから。

[tyobi]

回答ありがとうございます。まずnullとnanが私の中でごちゃごちゃになっていました。それを踏まえて上のinfのところをnanに変えてもう一度確かめたのですが同じく0という結果になりました。

[tyobi]

ちなみにx,yはseriesです

[meg_]

回答とは別ですが、下記ですと全てがNaNかどうかを判定しているかと。
> data.isnull().all()

Answer 1

infは文字列ではありませんので、検出できていません。
確認してはいませんが、以下でできると思います。

inf=x.apply(lambda x:1 if (x == float("inf")) or (x == -float("inf")) else 0)
inf.describe()

Comments

[tyobi]

回答ありがとうございます。infの扱いがあまり分かっていませんでした。おっしゃられた通りの確認方法でnanが検出されました。ありがとうございました。

Answer 2

xがnumpy.ndarrayの場合

import numpy as np

# nanの確認:0ならnanは存在しない
print(np.isnan(x).sum())

# infの確認:0ならinfは存在しない
print(np.isinf(x).sum())

【追記】
下記でも良いかもしれません。
dfはpandas.DataFrameとする。

# nanの確認:0ならnanは存在しない
print(df.isnull().sum())

# infの確認:0ならinfは存在しない
print((df==np.inf).sum() + (df==-np.inf).sum())

Comments

[tyobi]

回答ありがとうございます。seriesをndarrayに変換してmeg_さんの挙げられた確認方法を用いたところxの方でnanが4つありました。ただnanがある行を特定する方法が分からないのでよろしければ教えていただけませんか。

[meg_]

np.where(np.isnan(x))でインデックスが取れます。

[tyobi]

解決しました。迅速かつ丁寧なご回答ありがとうございました！