複数のCSVファイルの列ごとのデータ平均と標準偏差算出

Question

あるフォルダ内にある複数のcsvファイル（すべて8列101行）の時系列データがあり，各csvの同じセルごとに平均値や標準偏差を求めたcsvファイル（8列101行）を新たに作成したいと考えております．

現在下記のように作成してみたのですが，うまく行きません．

for file in files: 
    if not (file.endswith('.CSV') or file.endswith('.csv')):
        print('skip')
        continue  
        #print(file)
    test = pd.read_csv(file, header = None, engine="python")
　　#print(test)
    np_test = test.values 
#     print(np_test)
#     print(np.mean(np_test, axis=0))

print(np_test)では複数ファイル配列が確認できました(途中省略)．

out
[[  3.81 116.42110744  11.55506717  87.43426536  60.41401039
   10.03996679  67.39556258 -32.09862578]
 [  3.820 116.8401092   13.15872423  87.95743445  59.88379927
   10.98897601  68.90879969 -31.46598334]
 [  3.8318 117.01302526  15.05095255  88.86546004  59.70175505
   12.59007358  70.73742085 -30.48703647]
 [  3.8427 117.2006565   17.11245664  89.83292112  59.69748579
   14.47461612  72.89325515 -29.42341489]
 [  3.8536 117.24206081  19.26860941  90.89479143  60.00357283
   16.89246718  75.33878428 -28.21231344]  #以下省略,ファイルの数に応じて増える

これを要素ごとに平均したり標準偏差を求めたりしたものをcsvとして書きだせば良いかと思ったのですが，print(np..mean(np_test, axis=0))で確認すると下記のように出力されます．

out
[ 4.355 96.70872455 36.65559909 84.26374545 92.88908455 32.37911545
 78.45936364 -1.35645405]

内容の確認，teratailでの類似質問の検索をしてみましたが，探し方が悪いためか解決の糸口がつかめない状態です．
まだ使い始めたばかりでわからない点も多々あるのですが，教えていただければ幸いです．
何卒よろしくお願いいたします．

Comments

[meg_]

｢各csvの同じセルごと｣の意味が良く分かりません。

[msym]

説明不足で申し訳ありません。
例え3つのcsvファイルの一行目(5列)が下記のようになっていた場合において、平均と標準偏差をそれぞれ出したいと考えています。(元のファイルは101行ありますが、簡略化しております)
csv1：1, 2, 3, 4, 5
csv2：5, 4, 3, 2, 1
csv3：3, 6, 9, 12, 15

csvave：3, 4, 5, 6, 7
標準偏差も同様にして書き出ししたいと考えております。
よろしくお願いいたします。

Answer 1

データをnumpyに変換するとカラム名がなくなります。
それらを維持したままCSVデータを作成したいのであれば、numpy配列に変換するのではなく、xarray（多次元版のpandasのようなもの） を使い、結果をDataFrameで得るのがよいのではないでしょうか。

import pandas as pd
import xarray as xr

l = []
for file in files:
    if not (file.endswith('.CSV') or file.endswith('.csv')):
        print('skip')
        continue
    test = pd.read_csv(file, header = None, engine="python")
    #print(test)
    l.append(test.to_xarray())
da = xr.concat(l, dim='dataset')
mean_df = da.mean(dim='dataset').to_dataframe()
std_df = da.std(dim='dataset').to_dataframe()

mean_df.to_csv('mean.csv')
std_df.to_csv('std.csv')

Comments

[magichan]

書き忘れておりましたがデフォルトの標準偏差の計算は、Numpyとxarray共にn法の標準偏差です。pandasのようにn-1法の不偏標準偏差ではありませんのでご注意ください。

[msym]

教えていただきありがとうございます．無事平均，標準偏差を求めることができました！
また，補足もありがとうございます．最初の質問で不変標準偏差が必要と正確に記載していなかったので申し訳ありません．
もっと勉強したいと思います！

[jeanbiego]

なんと、気づいていませんでした。確かにnumpy.stdのドキュメントみるとddof引数を指定しない限りは標準偏差を出すよと書いてありますね。
勉強になりました。

[magichan]

はい。
pandas,statsmodels,Rと大抵のソフトは n-1法なのに、なぜか numpyだけは n法なんですよね。
で、xarrayは pandasの派生みたいなもんなので当然 n-1法かと思ったら、残念ながら n法でした。
ですので、不偏標準偏差や不偏分散を求めたいのであれば ddofパラメータをつけて
da.std(dim='dataset', ddof=1)
としてください。

Answer 2

3×3行列のテストデータでやってみました。
pandasではなく、numpyでcsv読み込んだほうが早そうです。

del np_test # 本番不要
import numpy as np

# テストデータ作成
file1 = np.arange(9).reshape((3, 3))
file2 = np.arange(2,11).reshape((3, 3))
file3 = np.arange(3,12).reshape((3, 3))
files = [file1, file2, file3]

# ここから処理
for test in files:
    if not "np_test" in locals(): # 一回目だけ
        np_test = test
        continue
    np_test = np.dstack([np_test, test]) # 3×3行列を3次元方向に重ねていく
test_mean = np_test.mean(0)
test_std = np_test.std(0)
print(np_test)
"""
[[[ 0  2  3]
  [ 1  3  4]
  [ 2  4  5]]

 [[ 3  5  6]
  [ 4  6  7]
  [ 5  7  8]]

 [[ 6  8  9]
  [ 7  9 10]
  [ 8 10 11]]]
"""

print(test_mean)
"""
[[3. 5. 6.]
 [4. 6. 7.]
 [5. 7. 8.]]
"""

print(test_std)
"""
[[2.44948974 2.44948974 2.44948974]
 [2.44948974 2.44948974 2.44948974]
 [2.44948974 2.44948974 2.44948974]]
"""

Comments

[msym]

教えていただきありがとうございます！
テストデータで確認でき，実際のcsvファイルでもトライしたのですが，下記エラーが出現しました．
TypeError: cannot perform reduce with flexible type
typeの問題かと考えておりますので，もう少し試行錯誤してみたいと思います．

[jeanbiego]

csvには文字列が入っていたりしますか？
どうも、csv内に文字列も入っているとnumpyでは扱いづらいようです。
pandasの方がいいかもしれません。

[msym]

再度アドバイスいただきありがとうございます！今回はpandasでトライしてみます．