中国語のWebページのHTMLを取り込みたい

Question

以下、私の作ってみたコードを載せます。

これでtext_5963.txtはちゃんと出力されるのです。
しかしながら、文字化けが残るのです。
（HTMLは最初の一部のみを載せています）

ダイヤモンド型の中に？マークの入った文字を正確に表示できるようにするには、どのようにコードを変えればよいか、知恵を貸していただければと思います。

よろしくお願いいたします。

import requests, bs4
import scrapy

final_str = ''
url = 'http://chengyu.t086.com/cy5/5963.html'

print(url + 'を取り込みます。')
res = requests.get(url)
res.raise_for_status()
res.encoding = res.apparent_encoding
soup = bs4.BeautifulSoup(res.text, "html.parser")
elems = soup.select('#main')
for elem in elems:
    final_str = final_str + str(elem)

f = open('text_5963.txt', 'w', encoding="utf-8")
f.write(final_str)
f.close()

<div id="main">
<table bgcolor="#DBDBDB" border="0" cellpadding="3" cellspacing="1" width="100%">
<tr>
<td class="t" width="15%">词目</td>
<td><h1>��容修态</h1></td>
</tr>
<tr>
<td class="t">发音</td>
<td>kuā róng xiū tài</td>

Answer 1

res.encoding = res.apparent_encoding

でGB2312というエンコーディングになるようですが、対象のページを見ると

<meta charset="gbk" />

とあるので、自動指定がうまくいっていないようです。

res.encoding = "gbk"

とすれば質問文の症状は解消するようです。

Comments

[HisashiSakamoto]

ありがとうございました。確かにうまく取り込めているようです。
中国語は癖のある文字が多いですね。