python; np.meanにて Python int too large to convert to C long と出る

Question

リスト内のTimedeltaをnp.meanで平均しようとしたのですが、Python int too large to convert to C longと出てしまいます。

リスト内の時間がCのlongの範囲を超えてしまったということなのでしょうが、これをどうにか計算できるようにすることは可能なのでしょうか。

listを間引きすれば計算できる様にはなるのですが、間引きせずに計算できる方法があれば教えていただきたいです。
よろしくお願いします。

リスト（kakuteiList_np）
[[0 Timedelta('18 days 00:24:58')]
[1 Timedelta('17 days 23:59:23')]
[2 Timedelta('0 days 03:23:49')]
...
[17202 Timedelta('0 days 19:49:57')]
[17203 Timedelta('0 days 19:02:17')]
[17204 Timedelta('0 days 18:19:02')]]

問題箇所＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
kakuteiTimeAve=np.mean(kakuteiList_np,axis=0)

エラ〜メッセージ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
File "/該当プログラム.py", line 106, in <module>
kakuteiTimeAve=np.mean(kakuteiList_np,axis=0)

File "<array_function internals>", line 6, in mean

File "/opt/anaconda3/lib/python3.7/site-packages/numpy/core/fromnumeric.py", line 3335, in mean
out=out, **kwargs)

File "/opt/anaconda3/lib/python3.7/site-packages/numpy/core/_methods.py", line 151, in _mean
ret = umr_sum(arr, axis, dtype, out, keepdims)

File "pandas/_libs/tslibs/timedeltas.pyx", line 605, in pandas._libs.tslibs.timedeltas._binary_op_method_timedeltalike.f

File "pandas/_libs/tslibs/timedeltas.pyx", line 1230, in pandas._libs.tslibs.timedeltas.Timedelta.new

File "pandas/_libs/tslibs/timedeltas.pyx", line 180, in pandas._libs.tslibs.timedeltas.convert_to_timedelta64

File "pandas/_libs/tslibs/timedeltas.pyx", line 308, in pandas._libs.tslibs.timedeltas.cast_from_unit

OverflowError: Python int too large to convert to C long

Answer 1

pandasのTimedeltaの精度はナノ秒であるため、10日間のTimedelta値は、10^9*3600*24*10 = 86,400,000,000,000となります。これを、long intの最大値9,223,372,036,854,775,807から割り算すると、答えは約10,675となります、すなわち10日間のTimedeltaを10000回程度加算すると、long intをオーバーフローすることになります。これが、今回発生した事象です。

簡単には、精度がマイクロ秒であるdatetime.timedelta型に変換してから計算すると、キャパシティが1000倍になりますので、解決できます。質問文のコードからは秒単位の精度で十分であると思いますので、秒単位のintに直してから計算したほうが、恒久対策になるでしょう。

Timedeltaを使った配列、精度、datetime.timedeltaへの変換方法、精度、平均値計算結果を、以下のコードで示します。

import numpy as np
import pandas as pd
import datetime as datetime

kakuteiList_np = np.array([
	[0, pd.Timedelta('18 days 00:24:58')],
	[1, pd.Timedelta('17 days 23:59:23')],
	[2, pd.Timedelta('0 days 03:23:49')]
	])

for i in range(3, 17202):
	kakuteiList_np = np.vstack((kakuteiList_np, np.array([
			[i, pd.Timedelta('17 days 23:59:23')]
		])))

kakuteiList_np = np.vstack((kakuteiList_np, 
	np.array([
		[17202, pd.Timedelta('0 days 19:49:57')],
		[17203, pd.Timedelta('0 days 19:02:17')],
		[17204, pd.Timedelta('0 days 18:19:02')],
	])))

print('変換前 kakuteiList_npの表示')
print(kakuteiList_np)
print('精度:', kakuteiList_np[0, 1].resolution)
print()

kakuteiList_np[:,1] = kakuteiList_np[:,1].astype('timedelta64')
print('変換後 kakuteiList_npの表示')
print(kakuteiList_np)
print('精度:', kakuteiList_np[0, 1].resolution)
print()

kakuteiTimeAve = np.mean(kakuteiList_np, axis=0)
print('kakuteiTimeAveの表示')
print(kakuteiTimeAve)

以下が上記コードを実行した時の出力です。

変換前 kakuteiList_npの表示
[[0 Timedelta('18 days 00:24:58')]
 [1 Timedelta('17 days 23:59:23')]
 [2 Timedelta('0 days 03:23:49')]
 ...
 [17202 Timedelta('0 days 19:49:57')]
 [17203 Timedelta('0 days 19:02:17')]
 [17204 Timedelta('0 days 18:19:02')]]
精度: 0 days 00:00:00.000000001

変換後 kakuteiList_npの表示
[[0 datetime.timedelta(days=18, seconds=1498)]
 [1 datetime.timedelta(days=17, seconds=86363)]
 [2 datetime.timedelta(seconds=12229)]
 ...
 [17202 datetime.timedelta(seconds=71397)]
 [17203 datetime.timedelta(seconds=68537)]
 [17204 datetime.timedelta(seconds=65942)]]
精度: 0:00:00.000001

kakuteiTimeAveの表示
[8602.0 datetime.timedelta(days=17, seconds=86014, microseconds=205347)]

Answer 2

以下のように再現を試みましたが、特に問題無く計算できてしまいます。
再現条件を確認いただけますでしょうか？

再現コード

import numpy as np
from datetime import timedelta

def Str2Timedelta(str):
	days, _, hhmmss = str.split(' ')
	days = int(days)
	hours, minutes, seconds = map(int, hhmmss.split(":"))
	td = timedelta(days=days, hours=hours, minutes=minutes, seconds=seconds)
	return td

kakuteiList_np = np.array([
	[0, Str2Timedelta('18 days 00:24:58')],
	[1, Str2Timedelta('17 days 23:59:23')],
	[2, Str2Timedelta('0 days 03:23:49')]
	])

for i in range(3, 17202):
	kakuteiList_np = np.vstack((kakuteiList_np, np.array([
			[i, Str2Timedelta('17 days 23:59:23')]
		])))

kakuteiList_np = np.vstack((kakuteiList_np, 
	np.array([
		[17202, Str2Timedelta('0 days 19:49:57')],
		[17203, Str2Timedelta('0 days 19:02:17')],
		[17204, Str2Timedelta('0 days 18:19:02')],
	])))


print('kakuteiList_npの表示')
print(kakuteiList_np)

kakuteiTimeAve = np.mean(kakuteiList_np, axis=0)

print()
print('kakuteiTimeAveの表示')
print(kakuteiTimeAve)

実行結果

kakuteiList_npの表示
[[0 datetime.timedelta(days=18, seconds=1498)]
 [1 datetime.timedelta(days=17, seconds=86363)]
 [2 datetime.timedelta(seconds=12229)]
 ...
 [17202 datetime.timedelta(seconds=71397)]
 [17203 datetime.timedelta(seconds=68537)]
 [17204 datetime.timedelta(seconds=65942)]]

kakuteiTimeAveの表示
[8602.0 datetime.timedelta(days=17, seconds=86014, microseconds=205347)]

Comments

[Daregada]

エラーメッセージから見て、おそらく質問者はdatetime.timedeltaではなく、pd .Timedeltaを使っている。

[toast-uz]

ありがとうございます。pd.Timedaltaを使うことでエラーが再現しまた。

[Daregada]

Timedeltaは64ビット整数の制限を受けると書いてあるのでおそらくそれ。
> Timedelta limitations¶
> Pandas represents Timedeltas in nanosecond resolution using 64 bit integers. As such, the 64 bit integer limits determine the Timedelta limits.

https://pandas.pydata.org/pandas-docs/stable/user_guide/timedeltas.html

[toast-uz]

そうですね。nanosecond resolutionだから、巨大数値になっているものと思います。resolutionを落とすことができれば解決です。

[kamataha]

お二方ありがとうございます！解決しました。

Answer 3

longの範囲外かどうかを判定して、多桁の計算を行うようにしましょう。
まずは、多桁の計算ライブラリを構築する必要がありますね