ウェブスクレイピングプログラムでエラーが出ます UnicodeDecodeError: 'utf-8' codec can't decode byte 0x94

Question

ウェブスクレイピングのプログラム作成しております。

http://www.itmedia.co.jp/news/articles/1810/14/news009.html

このサイトから記事だけを取得するようなプログラムを書いております。

プログラム抜粋

from urllib import request
from pyquery import PyQuery as pq

url_add = "http://www.itmedia.co.jp/news/articles/1810/14/news009.html"

resp = request.urlopen(url_add)

html = resp.read().decode("utf-8")
print(html)
query = pq(html)

実行しますと
Traceback (most recent call last):
File "C:/（私のローカルパス）/main.py", line 8, in <module>
html = resp.read().decode("utf-8")
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x94 in position 1185: invalid start byte

とエラーがでます。

url_add = "https://headlines.yahoo.co.jp/article?a=20181014-00549976-shincho-soci"

だとエラーは出ません。

諸先輩方アドバイスを宜しくお願いします。

Comments

[wwbQzhMkhhgEmhU]

そのURLはシフトJISのようです。

[toudai27]

失礼しました。。。他のサイトがutf-8だったので思い込みでエラーが出る初歩的なところを見逃しておりました。ありがとうございます！

Answer 1

decode("Shift_JIS")では？

Comments

[toudai27]

ありがとうございます！初歩的な思い込みでプログラム書いておりました。お手数お掛けしました、、、