大量のCSVデータの処理方法

Question

100個ほどCSVファイルがあり、
それぞれのファイルで、30×30のセルに数値が入力されています。
この100個のCSVファイルに対して、同じセル座標について最大値最小値を計算したいです。
例えばA1セルに入力されたデータを100個のCSVファイルで比較し、最大値を計算するようなステップを、全てのセルで(30×30)で行いたいです。
どんな流れで処理していくのがシンプルでしょうか？

よろしくお願いいたします。

Answer 1

個人的には、pandas.Panelを使用するのが楽かとおもいます。

import os
import glob
import pandas as pd

# dataフォルダ内にあるcsvファイルの一覧を取得
files = glob.glob("data/*.csv")

# 全てのCSVファイルを読み込み、dictに入れる（keyはファイル名）
dfs = {}
for file in files:
    dfs[os.path.basename(file)] = pd.read_csv(file, header=None)

# PANEL作成
pf = pd.Panel(dfs)
# CSVファイル（max/min）を生成
pf.max(axis=0).to_csv("max.csv", index=None, header=None)
pf.min(axis=0).to_csv("min.csv", index=None, header=None)

上記のコードは、CSVファイルにヘッダ行が無い事を前提としております

Answer 2

セル座標と値からなるデータをだーっと配列にして
全体をソートして1番目と100番目を逐次とっていく
みたいな感じはどうでしょう。
データが多くなるとアレですがこんくらいなら…

Answer 3

愚直にやるならこんな感じでしょうか

import os

matrix = [[0 for i in range(30)] for j in range(30)]
files = os.listdir('ディレクトリパス')
for filename in files:
    f = open('ディレクトリパス'+filename,'r')
    for row in f:
        numlist = row.split(',')
        for j,num in enumerate(numlist):
            if matrix[i][j] < int(num):
                matrix[i][j] = int(num)
    f.close()
print(matrix)