ｃｓｖファイルの文字コードをutf_8からshift-jisへ変換したい

Question

ｃｓｖファイルの中身がutf_8で記述されているのですが、それをshift-jisへ変換したいです。
以下のようにコードを書きました。

# coding= utf_8

import libraries as libraries

df = libraries.pd.read_csv('data/xxx.csv',header=1, parse_dates=True,date_parser='日',encoding='shift-jis')

実行するとValueErrorが出ました。
変換の仕方が間違っているのでしょうか？
どう直せばいいのでしょうか？

Answer 1

utf-8でエンコードされた 'data/xxx.csv' をshift-jisに変換したファイルに書き出したいのであれば以下のように書けます。

with open('data/xxx2.csv', 'w', encoding='cp932') as fout:
    with open('data/xxx.csv', encoding='utf-8') as fin:
        fout.write(fin.read())

--
修正: 'data/xxx2.csv' は書き込み先ファイルなので、 書き込みモード 'w' で開きます。
このコードを実行すると、 'data/xxx2.csv' が作られます。

Comments

[退会済みユーザー]

cp932と書くべきなのですか？shift-jisと書いては行けないのでしょうか？
またxxx2.csvが私のファイルにないのですが、これはエクセルで空のｃｓｖファイルを用意するということなのでしょうか？

[shimizukawa]

"xxx2.csv" は保存先ファイルのつもりでしたが、コード間違えてますね・・書き込みモードで開く必要があります。直しました。

cp932とshift-jisは若干異なっています。これについては別の話題なので端折りますが、cp932 のほうがハマリが少ないですよ。

[退会済みユーザー]

ありがとうございます！
with open('data/xxx2.csv', 'w', encoding='cp932') as fout:
with open('data/xxx.csv', encoding='utf-8') as fin:
と書くと、TypeError: 'encoding' is an invalid keyword argument for this function
とエラーが出て、
with io.open('data/xxx2.csv', 'w', encoding='cp932') as fout:
with io.open('data/xxx.csv', encoding='utf-8') as fin:
と書くと、UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 520-521: illegal UTF-16 surrogate
とエラーが出ます...。
どうなおしたら良いのでしょうか？

[shimizukawa]

あっ、Python2ですね。後者でかかれている `io.open` を使ってください。
UnicodeDecodeErrorについては別の話になるので、別の質問を立てたほうが良いと思います。

[退会済みユーザー]

ありがとうございます！

Answer 2

utf_8 で記述されている csv を shift-jis を指定して読み込もうとしているからです。encoding を修正してください。