python 大容量のテキストファイルからDATAFRAMEにデータを取り込みたい（時間はかかっても良いのでメモリを最小限に）

Question

任意のフォルダ内にある同一カラムのtxtファイルを全てdataframeに読み込みたいのですが、
データ容量が大きいせいか、最後のconcat文でメモリーエラーが発生してしまいます。

個人的には、listに読み込んだデータをconcatする際にデータ量が
２倍になってしまっているように考えています。

処理時間が伸びても良いので、例えば、各ファイルの１行ずつを読み込んで、
dataframeに加えていくなど、メモリに優しい処理をアドバイスしてもらえないでしょうか？

セキュリティの都合で.py ファイルは使えません。

txt_files = glob.glob('./origin/*.txt')
list = []

for f in txt_files:
    list.append(pd.read_table(f))
df0 = pd.concat(list)

Answer 1

以下のように逐次concatすれば、途中は１つ分のテーブルのメモリしか使いません。

df0 = None
for f in txt_files:
    df = pd.read_table(f)
    if df0 is None:
        df0 = df
    else:
        df0 = pd.concat([df0,df])

Answer 2

個別にdataframe量産してリストにつっこんで、それとは別に大きいのを作るから重いのでしょうか。
（以下、試してはおりませんが…）
たとえば、下記リンクのようにはなからdataframeに入れ込んでいくとか。

pd.DataFrame({f: pd.read_table(f, index_col=0).squeeze() for f in glob('/path/to/files/*.dat')})

python-pandasで複数ファイルのデータを一度にDataFrameに読み込む

あるいは、別にファイル（json, csv等）作ってそこに追記していくとか。

あとは、この辺がもしかしたら関係あるかもしれません。

DataFrame構築時にカラムの型(dtype)を指定していないと、整数はint64 、小数はfloat64 が勝手に割り当てられます。どんな値も扱えるように、とにかく大きなサイズの型になっています。

Pandas.DataFrameのメモリサイズを削減する（最大で8分の1） [Python]