質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.71%

UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 520-521: illegal cp932 surrogate

受付中

回答 4

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 3,924
退会済みユーザー

退会済みユーザー

UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 100-101: illegal cp932 surrogate
とエラーが出ました。

with io.open('data/xxx2.csv', 'w', encoding='cp932') as fout:
with io.open('data/xxx.csv', encoding='utf-8') as fin:
   fout.write(fin.read())


とコードを書きました。
csvファイルの中身がutf_8で記述されているのですが、それをshift-jisへ変換したいです。
どう直せばいいのでしょうか?

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 4

+1

エラーメッセージからすると、元のファイルの 520byte 目からの2バイトが、Shift-JIS(CP932) の範囲を逸脱しているため、UTF-8 から変換できない、のです。

エラーを引き起こしているところに何が書かれているかによりますが、CP932 ではなく、shift_jisx0213 に変換すると、あるいは変換できるかもしれません。

参考:Python マニュアル

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/03/15 18:37

    さらに某掲示板の同じような質問では、タイトルと本文がteratailと逆(テレコ)になっている…

    キャンセル

  • 2017/03/15 18:37

    単純に勘違いで、cp932 の csv を食わせてる、ような気がする、んですけどね……それなら DecodeError になるのも道理なので。

    キャンセル

  • 2017/03/15 18:48

    ですね。元ファイルを見ないと判断できませんが、おそらくそうなんじゃないかと思います。

    キャンセル

+1

文字コードの変換を行う際には一回Unicodeを経由する必要があります。

utf-8を一度デコードしてからshift-jisにエンコードしましょう

with io.open('data/xxx2.csv', 'w') as fout:
   with io.open('data/xxx.csv', encoding='utf-8') as fin:
       fout.write(fin.read().decode('utf-8').encode("shift-jis"))

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

0

エラーメッセージから、fin.read()時、すなわち元ファイルの(UTF-8エンコードされているとみなした)バイト列からpythonのunicode型として読込時に発生したエラーだと考えらえれます。

まずはfout.write(fin.read())の部分を

temp = fin.read()
fout.write(temp)


のように書き換えて、read,writeどちらでエラーが発生しているかを確認(特定)してください。

もしread時に発生しているのであれば、元ファイルが本当にutf-8エンコードされているか確認してください。
たとえば以下のようなコードで実際のバイト列を確認することができます。

import io
with io.open( "data/xxx.csv", "rb") as fin:
    data = fin.read()
    for i in range(len(data)):
        print("[%d][%02X]" % (i,ord(data[i])))

ちなみに「㎥」などcp932で表現できない文字を含むunicode文字列をcp932でファイル出力しようとすると

UnicodeEncodeError: 'cp932' codec can't encode character u'\u33a5' in position 18: illegal multibyte sequence


というエラーが発生します。

2017/03/21追記:io.read()が返す文字列の型について

15.2. io — ストリームを扱うコアツールにて

テキストモード (デフォルトか mode 引数に 't' が含まれている場合) では、ファイルの内容は unicode 文字列として返され、バイト列はプラットフォーム依存のエンコーディングか、 encoding が指定された場合は指定されたエンコーディングを使ってデコードされます。

と記載されているとおり、質問文のコードではio.open時にエンコーディングを指定しているので、fin.read()で返される文字列は、内部でutf-8でデコードされたunicode型となります。
すなわちfin.read().decode('utf-8')する必要はありません。

確認コード

>python
Python 2.7.12 |Anaconda custom (64-bit)| (default, Jun 29 2016, 11:07:13) [MSC v
.1500 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
Anaconda is brought to you by Continuum Analytics.
Please check out: http://continuum.io/thanks and https://anaconda.org
>>> import io
>>> with io.open('data.csv',encoding='utf-8') as fin:
...     tmp = fin.read()
...
>>> type(tmp)
<type 'unicode'>
>>> repr(tmp)
"u'a'"

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

0

Python2 をお使いのようなので、fin.read() の結果は、str(Unicodeではない)となっています。
str → unicode に utf-8で変換(decode)したあとに、
unicode → str に shift_jis or cp932 で変換(encode)して、書き込む必要があります。

このどちらかの変換がうまくいかない場合もあります。
その際には、変換時に 'replace' や 'ignore' などを引数で指定してごまかす必要が出てくるかもしれません。
(変換失敗が問題になるのであれば、問題になる文字列を見つけて、一つ一つ丁寧に置き換えをする必要があります)

なお、python3 では、別の処理になります。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.71%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る