1つのcsvファイルの中身が3×2で、複数のcsvファイルの各成分を平均処理するプログラム

Question

実現したいこと

この質問の関連質問です。
平均したいファイルが100個あるときにはどうすれば良いでしょうか。

さすがにdf1 = pd.read_csv('sample1.csv', header=None)みたいな行を100個書くのは非効率な気がします。

sample1.csvは以下の通りです。
1 2
3 4
5 6

sample2.csvは以下の通りです。
7 8
9 10
11 12

この２つのファイルの各セルの値の平均は
4 5
6 7
8 9
です。

該当のソースコード

import pandas as pd

df1 = pd.read_csv('sample1.csv', header=None)
df2 = pd.read_csv('sample2.csv', header=None)

result = (df1 + df2) / 2
print(result)

試したこと

この質問の回答が少し関係しているかもしれないと思ってので、付記しておきます。
（関係していなかったら申し訳ありません）

また、別の人が書かれた下記コードを、
sample1.csvとsample2.csvがあるフォルダで回してみたのですが、出力されたmean.csvは下記の通りとなりました。
7 10
8 11

import pandas as pd
import glob

csvfiles = glob.glob("./*.csv")
for file in csvfiles:
    df = pd.read_csv(file)
mean = df.mean()    
mean.to_csv("mean.csv", header=None)

Answer 1

別の人が書かれた下記コードを、

以下の様にして計算するとよいかと思います。

import pandas as pd
import glob

csvfiles = glob.glob("./*.csv")
mean = sum([pd.read_csv(file, header=None) for file in csvfiles]) / len(csvfiles)
mean.to_csv("mean.csv", header=None)

Comments

[yyicp]

ご回答ありがとうございます。
mean.csvが下記の通りになりました。
0 4 5
1 6 7
2 8 9
一番左の行（0、1、2）を表示しない（消す？）方法も教えてください。

[melian]

はい、その場合は to_csv() に index=False を指定します。

mean.to_csv("mean.csv", index=False, header=None)

それと、カレントディレクトリに mean.csv を作成すると、次の実行の際に mean.csv も glob.glob("./*.csv") に含まれてしまいますのでご注意下さい。

[yyicp]

できました。
どうもありがとうございました。

「カレントディレクトリに ・・・」の件も了解しました。
どうもありがとうございます。

Answer 2

BAついていますが、初心者向けに、得た情報からどう作っていくかをちょっと書いてみます。

今回の問題のポイントは2つ

1. 平均を得るには、前の質問にあるように、足して個数で割る。
   (df1 + df2) / 2 のような感じ
2. 100個あったときに、全てのファイルについて処理する方法
   質問にあるように、glob と for 文を使う

で、質問では以下のようになっていますが、これでは、1つめのポイントの足して個数で割るが実現できていません。

csvfiles = glob.glob("./*.csv")

for file in csvfiles:
    df = pd.read_csv(file)

mean = df.mean()    
mean.to_csv("mean.csv", header=None)

このfor文の中では、変数dfに次々に読んだファイルの内容を代入しているだけで足していませんなので、まずは、これを順に足していくように変える必要があります。
通常、複数あるものをfor文を使って足すとき、加算するための変数を作って、0で初期化します。

d_list = [10, 20, 30]
d_sum = 0
for d in d_list:
    d_sum = d_sum + d

今回の場合であれば、以下のような感じでしょうか。

import pandas as pd
import numpy as np
import csv

csvfiles = glob.glob("./*.csv")
sum_df = pd.DataFrame(np.zeros((3, 2)))
for file in csvfiles:
    sum_df = sum_df + pd.read_csv(file, header=None)

これで、sum_df にすべての合計が入ります。
(※ 0埋めしたDataFrameの作りかたはいろいろあります。)

合計は出たので、後は総数を数えて割ればいいのですが、総数は、ファイルの名前がリストに入っていますから、これを数えれば得られます。

for file in csvfiles:
    sum_df = sum_df + pd.read_csv(file, header=None)

file_count = len(csvfiles)
mean_df = sum_df / file_count

これで終りですが、もう少し。

全てを足す場合、リストに入れて合計する方法もよく使われます。リストを合計するsumという便利な関数があります。

import pandas as pd
import numpy as np
import csv

csvfiles = glob.glob("./*.csv")
df_list = []
for file in csvfiles:
    df_list.append(pd.read_csv(file, header=None))
sum_df = sum(df_list)
count_df = len(df_list)
mean_df = sum_df / count_df

こちらの方が、0埋めDataFrameを使わない分、少しすっきりしますね。また、この方式をリスト内包表記で書いたものがBAのコードです。

Comments

[yyicp]

>TakaiY様
詳細な解説、どうもありがとうございました。
私はまだまだPythonに不慣れなので、とても有難いです。