複数の同じ構造のdataframeの値を足し算したい。

Question

フォルダに下記のような形式のcsvファイルが複数あります。データ構造は同じでDateをIndexとしています。この場合、順次、csvを読み込んでいき、最終的に df_sum の様なdataframeを作りたいのですが、うまくいきません。初歩的なご質問で申し訳ございませんが、ご教示いただきたいと思います。

Date	IN	OUT
1/1	10	20
1/2	20	30

Date	IN	OUT
1/1	50	30
1/2	30	30

df_sum

Date	IN	OUT
1/1	60	50
1/2	50	60

csvs = glob.glob("*.csv)

df_sum = {}

for csv in csvs:
df_tmp = pd.read_csv(csv,index_col=0)
df_sum += df_tmp

結果 ValueError: Unable to coerce to Series, length must be 2: given 0

Answer 1

Dateは数ではないので、これを一旦indexにして単純に足します。

>>> print(df1)
  Date  IN  OUT
0  1/1  10   20
1  1/2  20   30
>>> print(df2)
  Date  IN  OUT
0  1/1  50   30
1  1/2  30   30
>>> df_sum = (df1.set_index('Date') + df2.set_index('Date')).reset_index()
>>> print(df_sum)
  Date  IN  OUT
0  1/1  60   50
1  1/2  50   60

使い方によっては、reset_index()はなくても良い場合もあります。

Comments

[roolaa]

ありがとうございました。単純に全て足しこむので行けそうではありましたが、csvが100程度あり、別の名前をつけながら100個のdfを生成する方法で悩んでおりまして、うまくいっておりませんでした。

Answer 2

csvsのひとつめでdf_sumを生成し、残りを足していく。

csvs = glob.glob("*.csv)
df_sum = pd.read_csv(csvs[0], index_col=0)

for csv in csvs[1:]:
    df_tmp = pd.read_csv(csv, index_col=0)
    df_sum += df_tmp

Comments

[roolaa]

ありがとうございました。私はdf_sum = {} としてから足し算していたので、うまくいかなかったのですね。。。　ベストアンサーにさせていただきました。

Answer 3

回りくどいかもですが、一回numpyに変換して足すのもありかと。面倒なのでテストデータは一個しか作ってなくて使いまわしています。

import pandas as pd
df = pd.read_csv("date.csv", index_col=0)
print(df)
#       IN  OUT
# Date         
# 1/1   60   50
# 1/2   50   60

n_df = df.to_numpy()
for i in range(5):
    df_tmp = df #  = pd.read_csv(csv,index_col=0)
    n_tmp = df_tmp.to_numpy()
    n_df += n_tmp
df = pd.DataFrame(n_df, index=df.index, columns=df.columns)
print(df)
#         IN   OUT
# Date            
# 1/1   1920  1600
# 1/2   1600  1920

Comments

[roolaa]

ありがとうございました。numpy使う案もあるのですね。参考になりました。