Python データベースからソートしてCSVに書き込みたい

Question

test.dbからNoでソートした順番でデータを抽出し、
その順番でtest2.csvに書き込みたいのですが、
普段はpandasのDataframeを使っているので、例文を探しても見つかりません。

解決方法のアドバイスをお願いします。

コード

conn = sqlite3.connect('./temp/test.db')
c = conn.cursor()

with open ('./temp/test2.csv',"w", encoding="utf-8") as f:
    for row in c.execute('SELECT * FROM test ORDER BY No DESC'):
        f.write(row)

conn.close()

エラーメッセージ

TypeError: write() argument must be str, not tuple

Comments

[stdio]

ソートぐらい、自身で実装しましょう。

[icemanstanding]

ご指摘ごもっとも。プログラム初めて６カ月。pandasに頼り切っていたのでこのありさまですよ・・・

[stdio]

私も結構辛辣なことを言ってしまったなと思っています。はい...
エラーの内容としては、「引数はtupleではなく str でなければなりません。」と書かれています。
rowの中身がtupleなのでしょう。型を良く調べてから質問すれば、このような意見は返ってこなくなりますよ。

[yureighost]

DataFrame形式からcsvに書き出すこともできたと思いますが、
そちらは使えない理由があるのでしょうか。

[dameo]

ソートはSQL内で降順ですが実施されているようです。
stdioさんがおっしゃるとおり、rowはSELECT句で指定した*の各カラムのタプルになっています。
カンマでjoinする必要がありますが、カラムの値にCSVでエスケープが必要な文字があるならクォートやエスケープをしてください。

[icemanstanding]

yureighost様
今はプログラム中ですが、本番は8GBのデータベースを処理する必要があるため、
Dataframe形式に格納しようとするとメモリーエラーが生じてしまうので、１行ずつ処理する方法を検討しています。

[icemanstanding]

conn = sqlite3.connect('./temp/test.db')
c = conn.cursor()

with open ('./temp/rawdata_sorted2.csv',"w",newline='', encoding="utf-8") as f:
for row in c.execute('SELECT * FROM test ORDER BY VIN_NUM ASC'):
l = str(row)
f.write(l)

conn.close()
で実行してみましたが、データベースが真横に並んでいて、イメージと違いました。
根本から間違っているようです。

[stdio]

改行コードを入れていないから、横並びになるんですよ...
l = str(row) + '\n'
で改行が入ったはずです。

Answer 1

import csv
import sqlite3

conn = sqlite3.connect('./temp/test.db')
c = conn.cursor()

with open ('./temp/rawdata_sorted.csv',"w",newline='', encoding="utf-8") as f_handle:
    writer = csv.writer(f_handle)
    header = [ 'KB','VIN_NUM','MODEL_CD','DATA_YMD','M2M_REPORT_ID','M2M_REPORT_ID_SUB','M2M_REPORT_ROW_ID','M2M_REPORT_COL_ID','CALC_VAL']
    writer.writerow(header)
    for row in c.execute('SELECT * FROM hoge ORDER BY VIN_NUM ASC,MODEL_CD ASC,DATA_YMD ASC,M2M_REPORT_ID ASC,M2M_REPORT_ID_SUB ASC,M2M_REPORT_ROW_ID ASC,M2M_REPORT_COL_ID ASC,M2M_REPORT_COL_ID ASC,CALC_VAL ASC'):
        writer.writerow(row)

conn.close()

Answer 2

csvにするならカンマ区切りでないといけないので、
row内のcolumnの値を処理する必要があると思います。
rowはfor文で処理することでcolumnをそのまま取り出せますので、
それをリスト内包表記でリストにしてしまいjoinで
区切り文字をカンマに指定して結合するのが一番楽だと思います。
またテーブル内に数値型の項目があるとそのまま結合できないためstrで文字列変換しています。

import sqlite3

conn = sqlite3.connect('./temp/test.db')
c = conn.cursor()

with open ('./temp/test2.csv',"w", encoding="utf-8") as f:
    for row in c.execute('SELECT * FROM test ORDER BY No DESC'):
        f.write(','.join([str(c) for c in row]) + '\n')

conn.close()