UnicodeEncodeErrorが抜けなくて困っています

Question

現在、python ver3.4.3を使いスクレイピングをしているのですが、
取得してきた結果の中にエラーが発生する文字があり、処理が出来ません。
文字コード変換に関する様々なサイトを見ていたのですが、悩んだ末いまだに解決できずにいます。もし分かる方がいらっしゃいましたら助けていただけないでしょうか。

処理しなければならない文字列に’ñ’などが含まれています。
よろしくお願いします。

コード：

import urllib.request
html = urllib.request.urlopen('https://~~~~~ñ~~~').read().decode('Latin-1')

エラー内容：

UnicodeEncodeError: 'ascii' codec can't encode character '\xf1' in position 56: ordinal not in range(128)

Answer 1

エラーを起こしたコードくらい張って下さいね。

ñはASCIIでは表現できない文字です。urllib.response.read() した結果をスクレイピング対象ページのエンコーディングに合わせて decode() してください。

内容から察するに、Latin-1 (ISO 8859-1) だと思います。

---

追記：結果ではなくURLに非アルファベット・数字が含まれてるんですね？ であればURLを urllib.parse.quote() や urllib.parse.urlencode() などでエンコードしてください。

import urllib.parse

url = 'https://search.goo.ne.jp/web.jsp?' + urllib.parse.urlencode({'MT': 'ñ'})
print(urllib.request.urlopen(url).read().decode('utf8'))

参考：Python Tips： URL エンコード・デコードがしたい - Life with Python

Comments

[退会済みユーザー]

問題のコードを貼らず失礼しました。
ASCIIでは表現できない文字なんですね。ですがlatenでdecode()しても結果が変わりませんでした。
質問内容を訂正いたしました。

[namnium1125]

横から失礼します。m(_ _)m

UTF-8でデコードしてみてはいかがでしょうか？