複数ファイルの連続処理、データフレーム名の変数化を行いたい

Question

複数ファイルの連続読み込み、処理

ディレクトリ内の複数のCSVファイルを読み込み、
例えば連番でデータフレーム（名称を可変、変数にしたい※）を作成し、後続処理に進めたい。
※または今後は月次でファイルが増えていく想定のため、データフレームの配列(3次元)に格納する形がよさそう。

python初心者のため、データフレーム名を変数としたり、グローバル化したりするところがまだ分かっていないため考えた処理が実行出来ていません。またはPythonらしい違うアプローチをご教示頂ければありがたいです。

1ディレクトリ内に1か月分、数十ファイル、かつ複数ディレクトリに存在するため閲覧性が非常に悪い状況ですので、今後定型、非定型の分析レポートを作成するために、まとめて処理したいと考えています。ディレクトリ内の複数ファイル名を取得するところは一応出来ています。

ご教示よろしくお願いいたします。

###該当のソースコード

import pandas as pd
#import numpy as np
#import pickle
#import zipfile
import os
import sys


#データ読み込み関数 1ファイルを読み込み
def read_file( i, path, rfile ):
    
   filepath = r"{0}\{1}".format(path,rfile)
   tmp_data = pd.read_csv( filepath,
			   encoding="sjis",
                           nrows=100, #今だけ１００行に制限
                           header=None                    
             		  )

    #カラム名を設定
    tmp_data.columns =['ID', 'name','score']
    # ファイル内に科目名を示す情報がないため列（index）を追加
    tmp_data['nm_filenumber'] = '{0:02d}'.format(i) 
    return tmp_data

##ディレクトリ以下の全ファイルを繰り返し処理
target_dir = r"\\Server\Readonly\ClientA\17年2月"

for i, filename in enumerate( os.listdir(target_dir)):
    print(i, filename )

# ここで展開したファイル名を次々にデータ化したい､このループ内を想定。
# 一旦ループの外で、手入力すると下記の様になる｡

df_01 = read_file( 1, target_dir, r"ClientA_KOKUGO_201702.csv" )
df_02 = read_file( 2, target_dir, r"ClientA_RIKA_201702.csv" )
df_03 = read_GC( 3, target_dir, r"ClientA_SANSU_201702.csv" )
#... 続く

# 後続処理
# 上記データを全て横結合
# 上記データを全て縦結合

##環境
現在はwindowsです｡

Answer 1

どこまでを回答に求めているのがが、いまひとつ分からなかったのですが、

とりあえず、指定したディレクトリ内のCSVファイルを全てまとめてデータフレーム化するサンプルを挙げておきます。

import pandas as pd
import glob
import os

DATA_DIR='./data'

files = glob.glob(os.path.join(DATA_DIR,'*.csv'))
df_list=[]
for file in files:
    tmp_df = pd.read_csv(file, header=None, names=['ID', 'name', 'score'], encoding="sjis")
    tmp_df['filename'] = os.path.basename(file)
    df_list.append(tmp_df)
df = pd.concat(df_list, ignore_index=True)

print(df)

上のサンプルではサブディレクトリは対象を外しておりますが、サブディレクトリを含めるときは

files = glob.glob(os.path.join(DATA_DIR,'**/*.csv'), ecursive=True)

となります。

Comments

[tora12]

早速ありがとうございます！試してみたいと思います、改めて質問させてください。

[tora12]

頂いたコードを参考に、目的の処理が実現出来ました。ありがとうございました！