python3でshift_jisのテキストファイル保存でUnicodeEncodeError

Question

pythonでwebからスクレイピングしてきた文字列を shift_jis の txt ファイルにしたいのですが、
UnicodeEncodeError: 'shift_jis' codec can't encode character '\xa0' in position 1308: illegal multibyte sequence
というエラーが出てしまいます。

変数textはutf-8です。

f = open('%s.txt'%textName, 'w+',encoding='shift-jis')

# ここでスクレイピングの処理をして変数textに代入する。

if text.find(u'\xa0'):
	text = text.replace(u'\xa0', u' ')
if text.find(u'\xa0'):
	text = text.replace(u'\xa9', u' ')
text.encode('shift-jis','ignore')
f.write(text)
f.close()

cp932 や euc-jpでもダメでした。
何か解決策はありませんか？

追記しました：
replaceの仕方を間違えていました。
上記のコードで書き込めましたが、いちいちshift_jisにない文字を置換していかないといけないのでしょうか・・・
エラー文字を空文字に置換できるような方法はないのでしょうか・・・

Answer 1

やりたい事は、「python3で、shiftjisでテキストをファイルに出力したい。変換できない文字は、スペースに変換したい。」という事でしょうか?

私も知りませんでしたが、リファレンスマニュアルを見ると、ヒントが書かれていました。

• 2.組み込み関数: open

errors はオプションの文字列で、エンコードやデコードでのエラーをどのように扱うかを指定するものです。バイナリモードでは使用できません。様々な標準のエラーハンドラが使用可能です (エラーハンドラ に列記されています) が、 codecs.register_error() に登録されているエラー処理の名前も使用可能です。標準のエラーハンドラの名前には、以下のようなものがあります:

codecs.register_errorを使えば、エラー処理を自分で行う事ができそうです。

# coding: utf-8
import codecs
# スペースじゃ見づらいので、代わりに「?hoge?」に置き換えてみる。
codecs.register_error('hoge', lambda e: ('?hoge?', e.end))
f = open('hoge.txt', 'w', encoding='cp932', errors='hoge')
f.write('こんにちは、\xa0世界\xa0!')
f.close()

結果は、以下のとおり。(もちろん、実際はshiftjisで出力されています。)

こんにちは、?hoge?世界?hoge?!

---

ちなみに、２点ほど。

str.findは、見つけた文字のインデックスを返します。(見つからなかったら-1を返します)
判定するなら、以下のとおりです。

if text.find(u'\xa0') >= 0:
    text = text.replace(u'\xa0', u' ')

str.encodeは、エンコードしたバイト文字列を返します。(元の文字列は、変化しません)

enc = text.encode('cp932', errors='hoge')

Comments

[kurosuke___]

回答ありがとうございます。
おかげさまで、実現できました。本当にありがとうございます。
この手法はとても使えそうですね。勉強になりました。
勘違いしていた戻り値についても、ありがとうございます。しっかり覚えました。
大変勉強になりました。

Answer 2

UTF-8テーブルにないキャラクタはreplaceできません。
一度iso-8859-1にしてみてはいかがでしょうか。

f = open('%s.txt'%textName, 'w+',encoding='shift-jis')

# ここでスクレイピングの処理をして変数textに代入する。

buf = unicode(text, "iso-8859-1")
buf.replace(u'\xa0',u' ')
buf.encode('shift-jis','ignore')
f.write(buf)
f.close()

Comments

[kurosuke___]

回答ありがとうございます。
＞UTF-8テーブルにないキャラクタはreplaceできません。

なるほどです。ありがとうございます。