pandasとnumpyの標準偏差の出力結果が異なる

Question

下記の実行結果が異なるのですが、なぜでしょうか

import pandas as pd
import numpy as np

print(np.array([1,2,3,4,5,6]).std())
> 1.707825127659933
print(pd.DataFrame([1,2,3,4,5,6],columns=["a"]).std())
> 1.870829

Answer 1

デフォルトの自由度の設定が違うからです。

numpy.std(a, axis=None, dtype=None, out=None, ddof=0, keepdims=<no value>)

https://docs.scipy.org/doc/numpy/reference/generated/numpy.std.html#numpy.std

　

Series.std(self, axis=None, skipna=None, level=None, ddof=1, numeric_only=None, **kwargs)

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.std.html

numpyのddof=0の設定では自由度n、pandasのddof=1の設定では自由度n-1が使われます。

なお、どちらも分散の平方根が返るので、これで不偏推定量になったりはしません。ddof=1の方がマシですが、程度問題だと思ってください。厳密なことをやるときは注意が必要です。

標準偏差 - Wikipedia

Answer 2

当然ドキュメントを真っ先に見ますよね。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.std.html

Normalized by N-1 by default. This can be changed using the ddof argument

ddof : int, default 1
Delta Degrees of Freedom. The divisor used in calculations is N - ddof, where N represents the number of elements.

>>> print(pd.DataFrame([1,2,3,4,5,6],columns=["a"]).std(ddof=0))
a    1.707825
dtype: float64

Comments

[yamato_user]

ドキュメント読む癖付けますm(_ _)m