スクレイピングの文字化けの解消

Question

ウェッブサイトからスクレイピングしたテーブルの文字が化けてしまいます。
解決方法を、どうぞご教示くださいませ。

import pandas as pd

url = 'https://xn--vckya7nx51ik9ay55a3l3a.com/analyses/number_of_companies'

pd.read_html(url)[0]

◎ネット上で調べ、見よう見まねでやったこと。

import requests
from bs4 import BeautifulSoup

# やってみたこと、その１

r = requests.get(url)

df = BeautifulSoup(r.content, 'html.parser')

print(df)

Forbidden


#やってみたこと、その２

response = requests.get(url) 
response.encoding = response.apparent_encoding 
print(response.text)

Forbidden

Answer 1

yasutakatouさんが既に回答している様に、対象のページの文字コードはUTF-8で構成されている様なので
以下の様にURLのリクエストを行う際にオプションとしてencoding='utf-8'と指定してあげる事で
文字化けが生じる事なくデータを取得する事が可能となっております。

import pandas as pd

url = 'https://xn--vckya7nx51ik9ay55a3l3a.com/analyses/number_of_companies'

df = pd.read_html(url, encoding='utf-8')[0]
print(df)

Comments

[okahijiki]

できました〜　感謝！！

[yasutakatou]

良かったですね！うまくいって僕も嬉しいです

Answer 2

該当ページは<meta charset="utf-8">なのでutf-8のようです。
https://senablog.com/python-bs4-encode/
こちらの記事を元にエンコードを指定してみては如何でしょうか。

Comments

[okahijiki]

当該ページの文字エンコード、utf-8、確認しました。BeautifulSoupについて、もっと勉強が必要のようです。ありがとうござます〜