Python UnicodeEncodeErrorの対処

Question

Seleniumで取得したソースからBeautifulSoupを使ってアイテムを抜き出し、表示しようとしていたところ以下のエラーが出ました。

UnicodeEncodeError: 'cp932' codec can't encode character '\u2661' in position 357: illegal multibyte sequence

コードは以下の通りです。

driver.get(url)
soup = BeautifulSoup(driver.page_source, "html.parser")
item_list = soup.select(".item")
print(item_list)

###環境
Windows10
Python 3.7.4

よろしくお願いいたします。

Answer 1

取得したページのHTMLの内容（driver.page_source）と、文字コード（エンコーディング）を確認しましょう。
エラーになるということは、想定通りになっていないはずです。

Comments

[__PORNO___]

htmlのヘッダーを見て`driver.page_source.encode("utf-8")`として見ましたが、同じエラーが出ます。どうすればよいでしょうか？

[otn]

ヘッダーじゃなくて、実際のエンコーディングは何でしたか？

[__PORNO___]

chardetを使い以下のコードでエンコーディングを確認しました。
binary = driver.page_source.encode("utf-8-sig")
print(binary)
print(chardet.detect(binary))
soup = BeautifulSoup(binary.decode("utf-8-sig"), "html.parser")

その結果はutf-8-sigでconfidenceが１.0でした。

エラー
UnicodeEncodeError: 'cp932' codec can't encode character '\u2048' in position 75: illegal multibyte sequence

追記
ふと思いPythonのコマンドラインから実行すると何事もなく動作しました。atom-runnerに問題があるようです。質問内容のトラブルは解決しました。ありがとうございました。