Pandas.groupbyの結果をcumsum()で累積和を算出すると途中からマイナスに

Question

###前提・実現したいこと
売上ログデータの集計をしています。
Pandasのgroupbyで製品別の売上額を算出し、売上額が大きい順にソート。
隣の列に累積和を追加したいです。

###発生している問題・エラーメッセージ
途中の行までは問題なく累積和が算出されるのですが、途中からマイナスの値になってしまい、
以降、マイナスが続いてしまいます。

###該当のソースコード
data_product= data.groupby('製品名')
data_product= data_product['売上金額','台数'].sum()
data_product= data_product.sort('売上金額', ascending=False)
data_product['cumulative_sum']=data_product['売上金額'].cumsum()

Comments

[argius]

PythonとPandasのバージョンを教えていただけませんか？
それと、できればデータの特性について概算で良いので教えてください。データの行数、台数・金額・想定される累積和は何ケタくらいか、製品は何種類くらいあるのか、など。

[TBB]

バージョン情報は下記の通りです。
　Python 3.4
　Pandas 0.17.1
全データ行数は508です（つまり、製品種類も508種です）
台数は総計507で、1~7件をばらついています
295レコードまでは問題なく累積和が算出されていますが、296レコード目から一気にマイナスになります。（ちなみに、累積和295レコード＝2145195674に対して、製品合計2543085を累積すると、累積和295レコード＝-2147228537となり、以降、全てマイナスです）

ご検討、宜しくお願いします。

Answer 1

もしかして、32bit版を使っているのでしょうか？
OSは何をお使いですか？

2145195674というのはint32の上限に近い値ですので、上限を超えてオーバーフローが発生しているものと思われます。

下記のコードを末尾に追加してデータフレームのデータ型を表示してみて下さい。

print(data.dtypes)
print(data_product.dtypes)

もし上記の推測が正しいとして、どう対応すれば良いかは調査中です。

（追記）

売上金額の集計項目のデータ型をint64に変更すれば良いと思います。

とりあえず、
data_product= data_product['売上金額','台数'].sum()
の次の行に
data_product['売上金額'] = data_product['売上金額'].astype("int64")
を追加して実行してみて下さい。

Comments

[TBB]

コメント有難うございます。
OSはWindowsで、Pythonは32bit版を使用しています。
ご指摘の通りdtypeをプリントしてみると、int32でした。

元データの桁数を減らしたダミーデータで実行してみたところ、
累積和は正しく表示されたので、オーバーフローが原因で間違いなさそうです。

こちらの回避方法についてもご教示頂けると大変有難いです。

[argius]

ためしに32bit環境でも動かしてみましたが、
CSVを読み込んでデータフレーム作ったらint64になりますね。
int32になる条件がわかりませんでした。

とりあえず、
data_product= data_product['売上金額','台数'].sum()
の次の行に
data_product['売上金額'] = data_product['売上金額'].astype("int64")
を追加して実行してみて下さい。

[TBB]

ありがとうございます！
int64に型変換したら無事、累積和を算出することができました。