Python・requestsの文字化けについて

Question

前提・実現したいこと

ここに質問の内容を詳しく書いてください。
pythonでimport requestsで楽天のhtmlサイト(https://search.rakuten.co.jp/search/keyword/)を読み込んだところ文字化けしてしまいます。原因がわかりません。

該当のソースコード

import requests
r = requests.get('https://search.rakuten.co.jp/search/keyword/')
r.encoding = r.apparent_encoding
print(r.apparent_encoding)
print(r.text)

試したこと

楽天のトップページや商品ページなどは文字化けせずに読み込めます。どこが悪いのでしょうか？

Comments

[kazto]

実行環境の詳細を追記いただけますでしょうか。

[Tochan]

python 初心者で大変申し訳ありません。
グーグルColaboratoryとpyCharmの両方で試しましたが文字化けします。
これで大丈夫でしょうか？

Answer 1

>>> import requests

>>> r = requests.get('https://search.rakuten.co.jp/search/keyword/')

>>> r.apparent_encoding
'Windows-1254'

>>> import chardet

>>> chardet.detect(r.content)
{'encoding': 'Windows-1254', 'confidence': 0.3693754690993527, 'language': 'Turkish'}

トルコ語に認識されています。

EUCを明に指定してdeocdeしても失敗します。

>>> r.content.decode('euc_jp')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'euc_jp' codec can't decode byte 0x8b in position 1568: illegal multibyte sequence

'euc_jp' codec can't decode byte 0x8b in position 1568: illegal multibyte sequence

そのページにEUCとして不正なバイトが存在するだけかと思います。

r.content.decode('euc_jp', errors='ignore')でもエラー箇所の後を復元できなかったので、バイト列を人間が見てエラーを取り除くコードを自作するしかないのでは、と思いました。

Comments

[Tochan]

ありがとうございます。

[Tochan]

同じEUC-JPのページは読み込めるのになぜ？？と原因がわからず填まってしまっていました。
そのページに問題がある、ということもあるんですね。
勉強になりました。ありがとうございます。