pandasで複数のCSVファイルをfor文内で連結したい

Question

###前提・実現したいこと
Python pandas複数のCSV（行数バラバラ、列数同じ）をfor文内で縦連結したい

###発生している問題
csvファイルがたくさんあるものを縦で連結したいのですが、うまく連結できません
元のcsvファイルは、18列あるのに64列になってうまく連結できません

###該当のソースコード

dates = ['20171201', '20171202', '20171203']
data2 = pd.DataFrame(index=[], columns=[])
for date in dates:
    print("%s.csv" % date)
    data = pd.read_csv(date + '.csv')
    data2 = data2.append(data)
    data2.to_csv('exp.csv')

Comments

[can110]

csvファイルの具体例（ヘッダー行の有無や区切り文字）を提示すると回答得られやすいと思います。

Answer 1

pandas.concat()を使用してみてはいかがでしょうか。

import pandas as pd

dates = ['20171201', '20171202', '20171203']

df_list = []
for date in dates:
    print("%s.csv" % date)
    data = pd.read_csv(date + '.csv', header=None, skiprows=1)
    df_list.append(data)

# 結合
data2 = pd.concat(df_list)

# Column名を指定したい場合はここでする
data2.columns = ['A','B','C','D','E']
# INDEXをそろえる
data2 = data2.reset_index(drop=True)

data2.to_csv('exp.csv')

その際、各CSVファイルのHEADERの扱いとして

(1) 共通のHEADERがある場合
pd.read_csv(date + '.csv')
(2) HEADERがない
pd.read_csv(date + '.csv', header=None)
(3) ファイル毎にバラバラのHEADERがある
pd.read_csv(date + '.csv', skiprows=1, header=None)
にてHEADER部をSKIPする

などの処理をして、共通のColumn名にする必用がありますのでご注意ください

Comments

[seven77]

`header=None`をつけたらできました
ありがとうございました！