numpy, scipyの関数がinfやNaNを返す

Question

前提・実現したいこと

numpy行列中の統計量を抽出したいのですが、warning が表示された後、infやnanが出力されてしまいます
計算対象のnumpy行列は計算前にNaNやinfが含まれていないかは確認済みです。

正常に出力されるようにするにはどのようにすればよいかご教示お願い致します。

発生している問題・エラーメッセージ

warning部分

/usr/local/lib/python3.6/dist-packages/numpy/core/_methods.py:160: RuntimeWarning: overflow encountered in reduce
  ret = umr_sum(arr, axis, dtype, out, keepdims)
/usr/local/lib/python3.6/dist-packages/numpy/core/_methods.py:192: RuntimeWarning: overflow encountered in reduce
  arrmean = umr_sum(arr, axis, dtype, keepdims=True)
/usr/local/lib/python3.6/dist-packages/numpy/core/fromnumeric.py:87: RuntimeWarning: overflow encountered in reduce
  return ufunc.reduce(obj, axis, dtype, out, **passkwargs)
/usr/local/lib/python3.6/dist-packages/scipy/stats/stats.py:1162: RuntimeWarning: invalid value encountered in true_divide
  lambda m2, m3: m3 / m2**1.5,
/usr/local/lib/python3.6/dist-packages/numpy/core/_methods.py:205: RuntimeWarning: overflow encountered in multiply
  x = um.multiply(x, x, out=x)
/usr/local/lib/python3.6/dist-packages/scipy/stats/stats.py:1014: RuntimeWarning: overflow encountered in square
  s = a_zero_mean**2
/usr/local/lib/python3.6/dist-packages/scipy/stats/stats.py:1018: RuntimeWarning: overflow encountered in square
  s = s**2
/usr/local/lib/python3.6/dist-packages/numpy/core/_methods.py:160: RuntimeWarning: invalid value encountered in reduce
  ret = umr_sum(arr, axis, dtype, out, keepdims)
/usr/local/lib/python3.6/dist-packages/numpy/core/_methods.py:192: RuntimeWarning: invalid value encountered in reduce
  arrmean = umr_sum(arr, axis, dtype, keepdims=True)

print()出力

[-1033.0, 1.7976931348623157e+308, inf, inf, nan, nan]

該当のソースコード

def segment_features(segment_pixels):
  features = []
  if np.any(np.isnan(segment_pixels)): #Nanが含まれていないかチェック
    sys.exit('Nan is found in \'index[]\'')
  if np.any(np.isinf(segment_pixels)): #infが含まれていないかチェック
    sys.exit('Inf is found in \'index[]\'')

  l = segment_pixels[:, 0]
  index_stats = [l.min(), l.max(), l.mean(), l.var(), scipy.stats.skew(l), scipy.stats.kurtosis(l)]

  print(index_stats) #出力
  return features

試したこと

①下記で計算対象のnp.arrayにnanやinfが含まれていないかをチェック

  if np.any(np.isnan(segment_pixels)): #Nanが含まれていないかチェック
    sys.exit('Nan is found in \'index[]\'')
  if np.any(np.isinf(segment_pixels)): #infが含まれていないかチェック
    sys.exit('Inf is found in \'index[]\'')

②計算の実行前にはランタイムの再起動を行い前の計算が残らないようにしました

補足情報（FW/ツールのバージョンなど）

google colabで計算

Answer 1

多分、計算途中でPythonの浮動小数点数float型の範囲（最大値・最小値）に引っかかってますね。

以下のような感じでしょうか。

import numpy as np
a=np.array([1.7976931348623157e+308, 1.7976931348623157e+308])
print(a.mean())  # -> inf

Comments

[Anonymous2020]

早速の回答ありがとうございます。
下記のように計算対象のnumpy行列の最大値と最小値を制限したところ、うまくいきました
例)segment_pixels[ segment_pixels > 1e5] = 1e5

的確なご助言、ありがとうございます。