pythonで青空文庫の小説本文をスクレイピングしたい

Question

pythonで青空文庫から小説のデータを取得して、本文のテキストを表示させたいと思って
います。以下のソースコードで実行しますと、本文が文字化けしていまいます。
どのようなコードが必要でしょうか。
よろしくお願いします。

import requests
from bs4 import BeautifulSoup

res=requests.get('https://www.aozora.gr.jp/cards/000148/files/789_14547.html')
html_doc = res.text
soup = BeautifulSoup(html_doc, 'html.parser')

main_text = soup.find('div', class_='main_text')
print(main_text)

Comments

[hoshi-takanori]

html じゃなく、元のテキストファイルを取得すれば良いのでは…。

Answer 1

以下のようにすると文字化けがなくなりました

res.encoding = res.apparent_encoding
html_doc = res.text

Comments

[python.gogo]

ありがとうございます。おかげさまで、無事表示できました。

Answer 2

BeautifulSoup 側でエンコーディングの変換を行う場合は、res.text(original HTML contents/shift-jis encoding) ではなく res.content(byte列に変換された HTML contents) を使います。BeautifulSoup 側でエンコーディングを推定して sys.getdefaultencoding() に変換してくれます。

import requests
from bs4 import BeautifulSoup

res = requests.get('https://www.aozora.gr.jp/cards/000148/files/789_14547.html')
html_doc = res.content
soup = BeautifulSoup(html_doc, 'html.parser') 

main_text = soup.find('div', class_='main_text')
print(main_text.text)

Comments

[python.gogo]

ありがとうございます。大変勉強になりました。