要素にNaNが入っているDataFrame型にsum関数を使うとなぜ答えはNaNではないのか。

Question

DataFrame型のsum関数を使うときにaxis=0より列ごとの合計になると思うのですが列にNaNが存在していた時に答えはその部分を0として計算した結果となります。値同士を足し合わせると答えはNaNとなります。なぜNaNの場所は0として計算されるのでしょうか。
仮説としては数字のsum関数が数字のみを足し合わせる関数なのではないかです。
是非回答お願いします。
下のコードはNaNを含むDataFrame型のものをsum関数で計算したものと要素同士で足し合わせたものです。

>>> import numpy as np
>>> from pandas import DataFrame
>>> a = DataFrame(np.array([[1,2,np.nan],[np.nan,3,4]]),columns=['A','B','C'],index=['a','b'])
>>> a
     A    B    C
a  1.0  2.0  NaN
b  NaN  3.0  4.0
>>> a.sum()
A    1.0
B    5.0
C    4.0
dtype: float64
>>> a.loc['a','A']+a.loc['b','A']
nan

Answer 1

sum() はデフォルト (skipna=True) では、NaN は無視して、NaN 以外を足し合わせた結果を返します。
skipna=False を指定すると、NaN が含まれる場合は結果も NaN になります。

ドキュメントを参照ください。

pandas.Series.sum — pandas 1.0.3 documentation

skipnabool, default True
Exclude NA/null values when computing the result.

import pandas as pd

a = pd.Series([1, 2, 3, None])
print(a.sum())  # 6.0
print(a.sum(skipna=False))  # nan

Comments

[kaggle777]

分かりやすい説明ありがとうございました。

Answer 2

既に回答は上がっていますし、sum()のドキュメントにも記述があるようですが、僕はちゃんと理由を突き止めたいので、ソースをいつも確認します。

PyCharmなどIDEを使っていれば、.sum()の定義へ簡単に飛べますので、答えにたどり着くまで探します。（バイナリのモジュールにたどり着いてソースが不明なこともありますが）

print(a.sum())

のsum()は関数を作る関数で定義されてる様子。

# pandas/core/generic.py
        cls.sum = _make_min_count_stat_function(
            cls,
            "sum",
            name,
            name2,
            axis_descr,
            """Return the sum of the values for the requested axis.\n
            This is equivalent to the method ``numpy.sum``.""",
            nanops.nansum,
            _stat_func_see_also,
            _sum_examples,
        )

nanops.nansumと言ういかにもな引数がありますから、さらに辿ると、

# pandas/core/nanops.py

@disallow("M8")
def nansum(values, axis=None, skipna=True, min_count=0, mask=None):
    """
    Sum the elements along an axis ignoring NaNs

    Parameters
    ----------
    values : ndarray[dtype]
    axis: int, optional
    skipna : bool, default True
    min_count: int, default 0
    mask : ndarray[bool], optional
        nan-mask if known

    Returns
    -------
    result : dtype

    Examples
    --------
    >>> import pandas.core.nanops as nanops
    >>> s = pd.Series([1, 2, np.nan])
    >>> nanops.nansum(s)
    3.0
    """
    values, mask, dtype, dtype_max, _ = _get_values(
        values, skipna, fill_value=0, mask=mask
    )
    dtype_sum = dtype_max
    if is_float_dtype(dtype):
        dtype_sum = dtype
    elif is_timedelta64_dtype(dtype):
        dtype_sum = np.float64
    the_sum = values.sum(axis, dtype=dtype_sum)
    the_sum = _maybe_null_out(the_sum, axis, mask, values.shape, min_count=min_count)

    return _wrap_results(the_sum, dtype)

とあり、ignoring NaNsと言うことでNaNは敢えて無視しています。

_get_valuesではmaskと言う入力したaと同じサイズの行列を作り、NaNに対してはTrueそれ以外はFalseをセットし、最後にnp.putmaskでmaskがTrueの要素は強制的に0にした値をnansumに返しています。Numpyにputmaskなんて関数があったんですね。知りませんでした。これでほぼ動作が全て解明されました。

            np.putmask(values, mask, fill_value)

ところでskipnaがデフォルトでTrueなのでFalseにすればNaNが返るらしいことが分かりましたので。試してみた結果

print(a.sum(skipna=False))

A    NaN
B    5.0
C    NaN
dtype: float64

以上ご参考まで。

Comments

[kaggle777]

より深い説明ありがとうございます。

Answer 3

Answer 4

How about?

Comments

[kaggle777]

Thank you. I see. That is, the sum of empty is 0 basically. If I use min_counter as a parameter, the sum of empty is nan. Is this correct?

Answer 5

I will send you sample code about DataFrame's sun function.

Answer 6

DataFrame.sum(self, axis=None, skipna=None, level=None, numeric_only=None, min_count=0, **kwargs)[source]
Return the sum of the values for the requested axis.

This is equivalent to the method numpy.sum.

Parameters
axis{index (0), columns (1)}
Axis for the function to be applied on.

skipnabool, default True
Exclude NA/null values when computing the result.

levelint or level name, default None
If the axis is a MultiIndex (hierarchical), count along a particular level, collapsing into a Series.

numeric_onlybool, default None
Include only float, int, boolean columns. If None, will attempt to use everything, then use only numeric data. Not implemented for Series.

min_countint, default 0
The required number of valid values to perform the operation. If fewer than min_count non-NA values are present the result will be NA.

New in version 0.22.0: Added with the default being 0. This means the sum of an all-NA or empty Series is 0, and the product of an all-NA or empty Series is 1.

**kwargs
Additional keyword arguments to be passed to the function.

Answer 7

thank for your care.
Yes possible.

Answer 8

んにちは。
私は海外の開発者です。
英語は可能ですか？

Comments

[kaggle777]

英語の回答が可能が可能か？ということですか？
あまり得意ではないですが可能です。