python 多数かつデータ量大きいcsvファイル読み込み

Question

前提・実現したいこと

一つのフォルダ内のすべてのcsvを読み込んで、全部一つのリスト(columns)にカラム名変更したいです。データ量が大体30GB、分割読み込みしかないみたいです。そして、変更後、ファイルごとのカラムを確認したいです。

発生している問題・エラーメッセージ

該当のソースコード

columns=np.array(["a","b","c"])
files = glob.glob("***")
for file in files:
// with open(file, 'r',encoding="ISO-8859-1") as f:
// for line in f:

試したこと

with open で試したけど、カラムをどうやって変更するのかわからないです。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[coco_bauer]

「同じのカラムに変更」というのは、どういう意味ですか？　「データ量が多すぎて」と書かれていますが、対象としているcsvファイルの総データ量は、どの程度ですか？　単位はペタ、エクサ、ゼタ、ヨッタのどのあたりですか？？？

[coco_bauer]

読み込むcsvファイルのデータの例、"全部一つのリスト(columns)にカラム名変更した"結果得られるデータの例を、質問に追加してもらえませんか？　どんなデータなのか、想像できかねます。

Answer 1

CSVファイルの１行読み込んで修正して書き込んで、、と繰り返せばいいように思いますがそれではダメでしょうか