UnicodeEncodeErrorがスクレイピングで発生する。

Question

エラーコード
UnicodeEncodeError: 'cp932' codec can't encode character '\u2014' in position 21146: illegal multibyte sequence

やりたい事
→コードの取得

躓いている事
→コマンドプロンプトでpythonコードを実行したけどソースコードの出力でエンコードエラーで
出力されない。
windowsではデフォルトでShift_JISになっていてそれが原因とわかってるがどうすればよいかわｋらん。

現状の対応
→・コマンドプロンプトのエンコード設定をcp932からutf-8に『chcp 65001』で変えても上記と同じエラーコードが発生する。

import sys
import requests


url = sys.argv[1]
r = requests.get(url)
s = r.text
print(f'encoding: {r.encoding}',file = sys.stderr)
print(s)

コマンドプロンプト
requests_encode.py https://gihyo.jp/dp > dp.html

出力結果
encoding: UTF-8
Traceback (most recent call last):
  File "C:\Users\user\Desktop\scrape\requests_encode.py", line 10, in <module>
    print(s)
UnicodeEncodeError: 'cp932' codec can't encode character '\u2014' in position 21146: illegal multibyte sequence

↑本当だったらエラー部分に指定したurlのコードが出てくる。

Comments

[meg_]

対象のURLを提示することは出来ますか？

[con2319]

https://gihyo.jp/dp
これです。ページも表示されます。

[meg_]

requests_encode.py https://gihyo.jp/dp
にしたら表示されませんか？
ファイルへの保存が必要であればスクリプト内で記述してはどうでしょうか？

[con2319]

そのコマンドであればちゃんと表示されます。
という事は保存部分でうまく機能してないのですね。
ちょっとやってみます。

Answer 1

import sys
import requests
import urllib.request


url = sys.argv[1]
file = "dp.html"
r = requests.get(url)
s = r.text
with open("dp.html","w",encoding='utf-8') as f:
   f.write(s)

print(f'encoding: {r.encoding}',file = sys.stderr)
print("complete the save!!")

結局、コマンドプロンプトではできなかったのでスクリプトの方で保存しました。

Answer 2

unicodeには存在していてcp932では存在しない文字がscript部分に含まれているため、Windowsの標準出力に出力しようとしてエラーになっています。

meg_さんが書かれているようにunicodeとしてファイルに出力することは可能です。

with open('output.txt', 'w', encoding='utf-8') as f:
    f.write(r.text)

もっとも「UnicodeEncodeErrorがスクレイピングで発生する。」と書かれているようにスクレイピングを行いたいのであれば、BeautifulSoupを使ったりするには問題ありませんので、わざわざファイルに出す必要もないでしょう。