UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 520-521: illegal cp932 surrogate

Question

UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 100-101: illegal cp932 surrogate
とエラーが出ました。

with io.open('data/xxx2.csv', 'w', encoding='cp932') as fout:
with io.open('data/xxx.csv', encoding='utf-8') as fin:
   fout.write(fin.read())

とコードを書きました。
ｃｓｖファイルの中身がutf_8で記述されているのですが、それをshift-jisへ変換したいです。
どう直せばいいのでしょうか？

Answer 1

文字コードの変換を行う際には一回Unicodeを経由する必要があります。

utf-8を一度デコードしてからshift-jisにエンコードしましょう

with io.open('data/xxx2.csv', 'w') as fout:
   with io.open('data/xxx.csv', encoding='utf-8') as fin:
       fout.write(fin.read().decode('utf-8').encode("shift-jis"))

Answer 2

エラーメッセージからすると、元のファイルの 520byte 目からの2バイトが、Shift-JIS(CP932) の範囲を逸脱しているため、UTF-8 から変換できない、のです。

エラーを引き起こしているところに何が書かれているかによりますが、CP932 ではなく、shift_jisx0213 に変換すると、あるいは変換できるかもしれません。

参考：Python マニュアル

Comments

[tacsheaven]

補足：もしかして「～」だったりしませんかね、該当の文字。だとすると有名な「波ダッシュ問題」かと思われます。以下を参考に。
http://x0213.org/wiki/wiki.cgi?page=%C7%C8%A5%C0%A5%C3%A5%B7%A5%E5%CC%E4%C2%EA

[can110]

横から失礼します。
このエラーってread時に発生、つまり書込み時のエンコードを「cp932」から「shift_jisx0213」に変更しても解決できないと思われるのですが、違いますかね？
(pythonのエンコード変換はややこしい…)

[tacsheaven]

そういえば UnicodeDecodeError だから読み込み側、ですね…って読み込みでなぜ cp932 が出てくるのか…
まさかとは思いますが、実行環境が cp932 ですかね？　だとしても python は内部 Unicode のはずですが…

[can110]

ファイル入出力であるため、実行環境の標準入出力およびデフォルトエンコーディングは影響しないと思います。また、正しい入力ファイルだとreadの結果の型は`<type 'unicode'>`となることが確認できるので、unicodeで扱われていると考えられます。

[can110]

今気づきましたが、質問のタイトルと本文ではpositionが違いますね。
どっちが正しいんだろう。
utf-8でデコードしているときのエラーメッセージにcp932という表現が現れるのもよく分かりませんが。

[can110]

さらに某掲示板の同じような質問では、タイトルと本文がteratailと逆（テレコ）になっている…

[tacsheaven]

単純に勘違いで、cp932 の csv を食わせてる、ような気がする、んですけどね……それなら DecodeError になるのも道理なので。

[can110]

ですね。元ファイルを見ないと判断できませんが、おそらくそうなんじゃないかと思います。

Answer 3

Python2 をお使いのようなので、fin.read() の結果は、str(Unicodeではない)となっています。
str → unicode に utf-8で変換(decode)したあとに、
unicode → str に shift_jis or cp932 で変換(encode)して、書き込む必要があります。

このどちらかの変換がうまくいかない場合もあります。
その際には、変換時に 'replace' や 'ignore' などを引数で指定してごまかす必要が出てくるかもしれません。
(変換失敗が問題になるのであれば、問題になる文字列を見つけて、一つ一つ丁寧に置き換えをする必要があります)

なお、python3 では、別の処理になります。

Answer 4

エラーメッセージから、fin.read()時、すなわち元ファイルの（UTF-8エンコードされているとみなした）バイト列からpythonのunicode型として読込時に発生したエラーだと考えらえれます。

まずはfout.write(fin.read())の部分を

temp = fin.read()
fout.write(temp)

のように書き換えて、read,writeどちらでエラーが発生しているかを確認（特定）してください。

もしread時に発生しているのであれば、元ファイルが本当にutf-8エンコードされているか確認してください。
たとえば以下のようなコードで実際のバイト列を確認することができます。

import io
with io.open( "data/xxx.csv", "rb") as fin:
    data = fin.read()
    for i in range(len(data)):
        print("[%d][%02X]" % (i,ord(data[i])))

ちなみに「㎥」などcp932で表現できない文字を含むunicode文字列をcp932でファイル出力しようとすると

UnicodeEncodeError: 'cp932' codec can't encode character u'\u33a5' in position 18: illegal multibyte sequence

というエラーが発生します。

2017/03/21追記：io.read()が返す文字列の型について

15.2. io — ストリームを扱うコアツールにて

テキストモード (デフォルトか mode 引数に 't' が含まれている場合) では、ファイルの内容は unicode 文字列として返され、バイト列はプラットフォーム依存のエンコーディングか、 encoding が指定された場合は指定されたエンコーディングを使ってデコードされます。

と記載されているとおり、質問文のコードではio.open時にエンコーディングを指定しているので、fin.read()で返される文字列は、内部でutf-8でデコードされたunicode型となります。
すなわちfin.read().decode('utf-8')する必要はありません。

確認コード

>python
Python 2.7.12 |Anaconda custom (64-bit)| (default, Jun 29 2016, 11:07:13) [MSC v
.1500 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
Anaconda is brought to you by Continuum Analytics.
Please check out: http://continuum.io/thanks and https://anaconda.org
>>> import io
>>> with io.open('data.csv',encoding='utf-8') as fin:
...     tmp = fin.read()
...
>>> type(tmp)
<type 'unicode'>
>>> repr(tmp)
"u'a'"