pythonでクエリの実行結果から、あるカラムの値ごとにCSVファイルを振り分けて出力したい。

Question

Python内でクエリを実行してソート済み（OrderBy付き）の結果を取得し、それをソートでまとまった項目の値ごとにCSVファイルに振分けたいと思っていますがうまくいきません。
ひとつのCSVファイルに出力するだけなら、最初に出力CSVファイルをopenしてforで1行ずつ取ればよいのですが、振分けする場合はforの中でopenする必要があると考えており、これをやるとwriter.writerow(doc)でopen済みであるにもかかわらず
"ValueError: I/O operation on closed file."というエラーとなってしまいます。
どういうふうにすれば、うまく振り分けができるのでしょうか。
どなたかお分かりになる方がいらっしゃいましたら、アドバイスのほど、よろしくお願いいたします。

``` ## SQL実行
    cursor.execute(exe_sql)
    ## 結果をCSVに出力
    deviceid = ""
    lcnt = 0
    mae = ""
    openf = False
    for doc in cursor:
      if openf == False:
        csv_name = "out_csvdata_{}.csv".format(doc[2])
        with open(csv_name, mode="w", encoding="utf-8", newline='') as wf:
          writer = csv.writer(wf)
          mae = doc[2]
          openf = True
      ## CSV書込
      writer.writerow(doc)
      if mae != doc[2]:
          openf = False

Comments

[melian]

writer.writerow(doc) が with open(...) ブロック内に入っていませんが。。。

Answer 1

たいへん助かりました。
エラー解消後、2件目以降のデータをアペンドモードでopenすることにより
解決いたしました。
有難うございました。

Answer 2

writer.writerow(doc)でopen済みであるにもかかわらず

コードの問題点は、この部分の誤解。
with ブロックを抜けた時点で自動的に close されます。

このコードを意図通りに動かすには、withコンテキストマネージャは使わずに
明示的に open/close を行う必要があります。

ソートでまとまった項目の値ごとにCSVファイルに振分けたい

という目的であれば、
itertools.groupby が役立ちます。

from itertools import groupby
from operator import itemgetter

for key, group in groupby(cursor, key=itemgetter(2)):
    with open(f"out_csvdata_{key}.csv", ...) as stream:
        writer = csv.writer(stream)
        writer.writerows(group)
           

Comments

[AKIGM56]

有難うございます。なるほど、これだとコードがすっきりしますね。
とても参考になります。
ところで、申し訳ないのですが、CSVファイルに出力するときにデータの一部をformatして出力したいのですが
どのようにすればよいでしょうか。
よろしくお願いいたします。

[teamikl]

group がイテレーターになってるので for文 や map関数 で廻します。
ジェネレーター式・内包表記でも可ですが、このケースではコードが読みにくくなるので
「データの一部をformat」する機能は、テストしやすいように別の関数として実装した方が良いです。

# A. for文
for row in group:
　row[0] = f"{row[0]:06}" # ※ foramtの例
　writer.writerow(row)

# B. map()
def func(row):
　row[0] = f"{row[0]:06}"
　return row
writer.writerows(map(func, groups))

[AKIGM56]

for文でやってみたのですが、formatする行で
"TypeError: 'tuple' object does not support item assignment"となってしまってます。
慣れていなくて申し訳ないのですが、ぜひ詳細にご説明いただけないでしょうか。すみません。

[AKIGM56]

teamiklさま
formatの件ですが、なんとか自力で解決いたしました。
いろいろと貴重なアドバイスをいただき、本当に有難うございました。