Python を用いたファイル読み込み、計算

Question

#現状
/Users/・・・/data
の中に
data_000
data_001
data_002
…
data_099

のようなデータファイルが、数字で割り振られた状態で存在しており、
それぞれのファイルには、次のような配列の形で数字が入っています。
（data_000）
45.165
38.398
43.176
41.118
65.043
66.470
65.093
…

19940 rows × 1 columns

#やりたいこと
①ファイルを読み込み、各データファイルの平均を求める
②求めた平均を、ファイルの名前順に昇順に並べる

ファイルを一つづつ読み込んで平均を出すことはできたので、次はforを使ってみようと考えたのですが、
その場合for文をどう使えばよいのか分からず、手が止まってしまいました。

詳しい方、ご教授お願いします。

import numpy as np

#読み込み
df_000 = pd.read_csv("/Users/.../data_000",header=None)
#df_000 = np.loadtxt('/Users/.../data_000')それぞれの読み込み方は、どのように違うのか？？
・・・
df_099 = pd.read_csv("/Users/.../data_099",header=None)

#平均をデータに格納？
data=[
ave_000 = np.average(df_000),
ave_001 = np.average(df_001),
・・・
ave_099 = np.average(df_099)
]
#力尽くで読み込めなくもないが、効率的ではない

data.sort()
[29.680,30.924,30.964,…]
#数字でsortされてしまう

＊jupyter notebookを使っています

Answer 1

①ファイルを読み込み、各データファイルの平均を求める

ファイルまでのパスの文字列を作成し、ファイルの読み込みを行います。
このとき、変数名をdf_000...df_099とすると、扱いにくいのでListかnumpy.ndarray、DataFrameのいづれかで保持することをお勧めします。
ここでは、DataFrameで行います。

import pandas as pd

# 空のデータフレームの作成
df = pd.DataFrame()

# ファイル名の作成とデータ(pandas.Series型)の追加
for i in range(100):
    file_name = 'data_{:03}'.format(i)
    df = df.append(pd.read_csv('/Users/.../data/'+file_name, header=None, names=[file_name], squeeze=True))

この時点で、dfを出力するとこのようにデータ(pandas.DataFrame型)が格納されています。
（データの長さが違うとNaNで欠損値処理されます。）

	        0         1	     2	   ...	 19938     19939
data_000	45.165	38.398	43.176  ...     65.093	NaN
...
data_099	45.165	38.398	43.176  ...     65.093	20.308

そして、平均値は.meanで求められます。
axis=1は上のdfの出力でいう横方向に平均をとる、ということです。

# 平均値の取得
data_mean = df.mean(axis=1)

最後に、data_meanを出力すると、このようにデータ(pandas.Series型)が格納されています。

data_000    52.066143
...
data_099    48.096375
dtype: float64

例えば、data_000の平均値を取得したいときには

data_mean['data_000']

とすると、

52.06614285714286

と、出力されます。

②求めた平均を、ファイルの名前順に昇順に並べる

もともとファイル名で並べて取得しているので、並び替える必要はありません。
どうしても、並び替えが必要であれば、.sort_index()でソートできます。（デフォルトで昇順ソートです）

data_mean.sort_index()

Comments

[退会済みユーザー]

丁寧なご回答ありがとうございます！
出力した結果、ファイル名とその平均値が見やすく、
自分が出力したかったものとドンピシャでした。

Answer 2

ファイル名と平均値のタプルのリストを作って、それをソートしたらどうでしょうか。
タプルの比較は、1番目の要素を比較、1番目が同じなら2番目を比較...　という風になります。

import numpy as np

# ファイル名のリスト
files = [f'/Users/.../data_{i:03}' for i in range(100)]

# ファイル名と平均値のタプルのリストを作る
data = [(filename, np.loadtxt(filename).mean()) for filename in files]

# ソート (→ ファイル名でソートされる)
sort(data)

# 平均値だけを取り出す
averages = [x[1] for x in data]

そもそも、ファイル名のリストの段階でソートしてから、あとの処理をすればいいだけかもしれません。

Answer 3

リストの使い方を学びましょう。
リストを知らないと言うことは内包表記も知らないと言うことだと思いますので、これも調べてください。data = の行のことです。

df = []
for i in range(0,100):
  df.append(pd.read_csv("/Users/.../data_{:03d}".format(i),header=None))

data = [ np.average(x) for x in df ]

実行してないので、ミスがあるかも。

Comments

[退会済みユーザー]

ご回答ありがとうございます！
勉強不足なのはおっしゃる通りです。本を読みながらコードを書いているのですが、
まだまだ応用が効きません

教えていただいたコードで無事動きました！
本当にありがとうございます