大量のCSVファイルを行方向に結合させたい

CSVの2列目以降を行方向に抜き出し、他のファイルの同じ行(2列目以降)で結合させたいのですがどのようにすればいいでしょうか？CSVで1000ファイル、1ファイル5003行あります。質問文の行と列の言葉の使い方を間違えていたらすみません。combined.csvに出力例を書いています。

csvファイルの中身

1.csv
A,s,3,4,5
B,s,2,4,4
C,s,5,5,2
以下5000行続く

2.csv
a,t,5,5,2
b,t,8,4,4
c,t,5,5,2
以下5000行続く

1000.csv
a,Z,5,5,2
b,Z,8,4,4
c,Z,5,5,2
以下5000行続く

combined.csv
s,3,4,5,t,5,5,2・・・省略・・・Z,5,5,2
s,2,4,4,t,8,4,4・・・省略・・・Z,8,4,4
s,5,5,2,t,5,5,2・・・省略・・・Z,5,5,2
以下5000行続く

やったこと
1行ごとに読みとってファイルを閉じると膨大な数ファイルの開け閉めをする必要があり効率的ではない気がしています。
PCのメモリは結構積んであるので、一度すべて配列に読み込もうと、以下をしたのですが初っ端らからつまづきました。

Python3
1import pandas as pd
2
3mr = []
4for num in range(1,1001):
5	print (num)
6	mr[num] = pd.read_csv( str(num) + ".csv" ,  header = None)
7

以下エラーが表示されました。
line 6, in <module>
mr[num] = pd.read_csv( str(num) + ".csv" , header = None)
IndexError: list assignment index out of range

meg_

2020/10/05 11:59

> PCのメモリは結構積んであるので、一度すべて配列に読み込もうと、以下をしたのですが初っ端らからつまづきました。何につまづいたのですか？エラーが出たのか、結果が意図したものにならなかったのか、何がどうなったのか？を書いてください。

h5x

2020/10/05 12:29

コメントありがとうございます。また、説明不足すみません。 line 6, in <module> mr[num] = pd.read_csv( str(num) + ".csv" , header = None) IndexError: list assignment index out of range このようなエラーが出て作った配列にデータを保存する段階から失敗した感じになります。

meg_

2020/10/05 12:33

mr.append(pd.read_csv( str(num) + ".csv" , header = None))でどうでしょうか？

h5x

2020/10/05 14:40

このようにすれば配列に入れることができるのですね！無事動作いたしました。ありがとうございます！！

行動規範の内容に同意します

回答2件

ベストアンサー

1.csvの先頭列も(A,B,Cではなく)a,b,cだという前提で書いたコード。

Python
1import pandas as pd
2
3dfm = pd.DataFrame()
4
5for num in range(1, 1001):
6    df = pd.read_csv(f"{num}.csv", header=None, index_col=[0])
7    dfm = pd.concat([dfm, df], axis=1)
8
9print(dfm)
10dfm.to_csv('combined.csv', header=None, index=None)