pythonから日本語CSVが出力出来ない

Question

お世話になります。

環境はwindows10 python3.6です。
下記のpyファイルを用いてコマンドプロンプト上で

test.py > result.csv
とし、csvを出力しています。

import csv
import os.path

dirname = os.path.dirname(__file__)
path = os.path.join(dirname,"test.csv")

f = open(path, "r", encoding="utf-8")
reader = csv.DictReader(f)
for line in reader:
    print(line["status"],",",line["user_id"])
f.close()

当コードは status も user_id も数字、英語の為問題無いのですが、
user_idやstatusが日本語になった場合に、
UnicodeEncodeError: 'cp932' codec can't encode character '\u5434' in position 0: illegal multibyte sequence
となり、出力する事が出来ません。

どの様にすれば日本語ファイルが出力出来る様になるかご教示頂きたく思います。

現在はVS codeにコードを書いて、右クリックプロンプトで実行をしています。

リダイレクトを利用しない方向で考えています。

辞書型で書き出しを行いたいです。

csvファイルは40程度の見出しで、数万行です。

userID_A.csv(userIDとAの情報の組み合わせ)

userID_B.csv(userIDとBの情報の組み合わせ)

userID_C.csv(userIDとCの情報の組み合わせ)で出力を行いたいです。

import csv
import os.path

dirname = os.path.dirname(__file__)
path = os.path.join(dirname,"test.csv")
f = opne(path, "w", encoding="utf-8", newline="")

fieldnames = ["status","日本語のデータ"]
writer = csv.DictWriter(f, fieldnames=fieldnames)
writer.writerrow({"status":std, "日本語のデータ":"日本語"})
f.close()

上記コードだと出来そうですが、行数が数万行ある為、不可能と考えました。
何かリダイレクトせずCSVに一気に書き出せる方法は無いでしょうか？

Comments

[LouiS0616]

リダイレクトを利用しないという選択肢はアリでしょうか？

[obakemaru]

そうですよね。きっとプロンプトでやっている事がおかしいのだとうすうす気づいていました。書き出し方法がわからなかったもので。。。調べてみます！

[obakemaru]

non

[LouiS0616]

ひとつ確認しておきますが、日本語のデータが無い場合はリダイレクトで目的をすべて達成できたのでしょうか？

[obakemaru]

はい。日本語の場合以外は目的を達成しています。

Answer 1

リダイレクトを利用しない、簡単な方法を紹介しておきます。

まず、次のように呼び出すと仮定します。

python test.py result.csv

test.pyの頭の方で、標準出力を切り替えるようなコードを書いておきます。

import sys

if len(sys.argv) > 1:
    dst_filename = sys.argv[1]
    sys.stdout = open(dst_filename, 'w', encoding='utf-8')

...

これなら、ほとんど書き換えずに目的の処理が出来るはずです。
ファイルを指定しない場合、標準出力を利用するようにもできました。

ただし

test.pyという名前は、標準モジュールと被るので避けた方が良いです。

Comments

[obakemaru]

ありがとうございます。上記コードをdirname = os.path.dirname(__file__)を上に追加して実行しました。問題無く走ったのですが、ファイルの出力が出来ていない状態です。プロンプト上は表示されている。

[LouiS0616]

カレントディレクトリは確認されましたか？

Answer 2

コマンドライン引数で受け取るところまではLouiS0616さんと一緒ですが、sys.stdoutを上書きするよりこっちの方法が恐らく良いです。

import csv
import os.path

dirname = os.path.dirname(__file__)
path = os.path.join(dirname,"test.csv")
dst_filename = sys.argv[1]

f_in = open(path, "r", encoding="utf-8")
f_out = open(dst_filename, 'w', encoding='utf-8')
reader = csv.DictReader(f_in)
for line in reader:
    print(line["status"],",",line["user_id"], file=f_out)
f_in.close()
f_out.close()

でも、そもそもこれよりこっちを使うべき。csv.writer.writerowでいけます。

Pythonでcsvファイルにデータを書き込みをする基本中の基本

import csv
import os.path

dirname = os.path.dirname(__file__)
path = os.path.join(dirname,"test.csv")
dst_filename = sys.argv[1]

f_in = open(path, "r", encoding="utf-8")
f_out = open(dst_filename, 'w', encoding='utf-8', newline='')  # can110様のご指摘をうけて改善
reader = csv.DictReader(f_in)
writer = csv.writer(f_out)
for line in reader:
    writer.writerow([line["status"], line["user_id"]])
f_in.close()
f_out.close()

Comments

[obakemaru]

ありがとうございます。
ただし上記のコードを実行するとIndexError: list index out of rangeとなる様です。

[hayataka2049]

・どっちのコードですか？
・あと、どこでそのエラーが出ますか？
・実行時のコマンドも教えてください
以上3点について教えてください

[can110]

open(dst_filename, 'w', encoding='utf-8')にて「newline=''」を指定しないと、改行がだぶって出力されてしまう(行毎にCRCRLFが出力される)ようです。

[hayataka2049]

すみません、windows環境で確認していませんでした。csv.writerの方ですね。修正しました。ご指摘ありがとうございます

[can110]

はい。Win10環境です。修正対応ありがとうございます。