Python DataFrameに収まらない大容量データファイルの開き方とソート方法

Question

いつもは、DATAFRAMEで処理しているのですが、今回はDATAFRAMEに収まりきらない
大容量のデータが、CSV形式のファイルで来てしまいました。

１~６の列を昇順でソートして保存しなくてはいけないのですが、方法が見つかりません。

アドバイスをお願いします。

Answer 1

import csv
import sqlite3

# データベースに接続する
conn = sqlite3.connect('./temp/test.db')
cur = conn.cursor()

# テーブルの作成
cur.execute('''CREATE TABLE hoge ( KBN text,VIN_NUM text,MODEL_CD text,DATA_YMD text,M2M_REPORT_ID text,M2M_REPORT_ID_SUB text,M2M_REPORT_ROW_ID text,M2M_REPORT_COL_ID text,CALC_VAL text)''')

# データの挿入
with open('./temp/rawdata.csv', 'r', encoding="utf-8") as f: 
    b = csv.reader(f)
    header = next(b)
    for t in b:
        # tableに各行のデータを挿入する。
        cur.execute("INSERT INTO hoge VALUES (?,?,?,?,?,?,?,?,?);",t);

# 挿入した結果を保存（コミット）する
conn.commit()

# データベースへのアクセスが終わったら close する
conn.close()

print('終わり')

Answer 2

csvsortが使えないでしょうか。

Answer 3

Python DataFrameとはpandasのことでしょうか・・。

pandas+sqliteとかでは処理できないのでしょうか・・。