pythonのrequestsでの文字コードエラー

Question

import requests
from bs4 import BeautifulSoup

url = 'https://search.rakuten.co.jp/search/keyword/'
res = requests.get(url)
soup = BeautifulSoup(res.content, 'html.parser')

を実行すると、以下のエラーが表示されます。

Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.

文字コードが良くないのだと思いますが、原因がわかりません。。

response.encoding = response.apparent_encoding 

では解消しませんでした。

Answer 1

おはようございます。

問題文拝見致しました。

res.content → res.text に変更するとどのようになりますか？

ご確認のほど、よろしくお願いいたします。????‍♂️

参考
・Python, Requestsの使い方

Comments

[saladboy]

回答ありがとうございます。
res.textでも解決しないです。。

・res.apparent_encodingでは「Windows-1254」と表示されますが、
BeautifulSoup(res.content, 'html.parser', from_encoding='Windows-1254')では解決しませんでした。

・BeautifulSoup(res.content, 'lxml')でも文字化けは残っていました。

[退会済みユーザー]

すみません。いくつか考えましたが、わかりませんでした。申し訳ございません。????‍♂️

[saladboy]

https://teratail.com/questions/199762
すみません、。過去に同じ質問がありました。
対象ページまで同じでした。
考えていただきましてありがとうございました。

[退会済みユーザー]

いえいえ。

また困ったこととかありましたら、気軽にご相談下さい〜