beautifulsoupを使って特定のthタグの下のtdを取得したい

前提・実現したいこと

以下のように複数のtrタグで囲まれたhtmlがあるとします。

<tr>
 <th><a href="http://www.spec.org/auto/cpu2017/Docs/result-fields.html#CPUName">CPU Name</a>:</th>
 <td>Intel Xeon Gold 6154</td>
</tr>,
<tr>
 <th><a href="http://www.spec.org/auto/cpu2017/Docs/result-fields.html#MaxMHz">Max MHz.</a>:</th>
 <td>3700</td>
</tr>,
<tr>
 <th><a href="http://www.spec.org/auto/cpu2017/Docs/result-fields.html#Nominal">Nominal</a>:</th>
 <td>3000</td>
</tr>,

beautifulsoupを使って、tdの中身を取得し、以下のようなリストを作りたいです。
CPU Name(th)の中のtdの値→Max MHz.(th)の中のtdの値→Nominal(th)の中のtdの値と順番は守って格納したいので、thがCPU Nameであればその下の要素のtdの'Intel Xeon Gold 6154'を取得するようにしたいのですがどのようにすればいいでしょうか。(thが存在しない行もまれにあります)

list = ['Intel Xeon Gold 6154', '3700', '3000']

補足情報（FW/ツールのバージョンなど）

CentOS 7
python 3.6

行動規範の内容に同意します

回答1件

ベストアンサー

辞書型を使えばデータがない場合にも対応できそうです。

Python
1record = {'CPU Name': None, 'Max MHz': None, 'Nominal': None,}

上のHTMLだけで判断するならば下の通りになります。

Python
1def remove_noize(text):
2    res = text.strip("\xa0")
3    res = res.strip(":")
4    res = res.replace('.', "")
5    return res
6
7
8def main():
9    # Note: html変数にはご質問で上げられたHTMLが入っているものとする
10    bs = BeautifulSoup(html, "lxml") 
11    record = {'CPU Name': None, 'Max MHz': None, 'Nominal': None,}
12    keys = bs.find_all("th")
13    keys = list(map(remove_noize, [key.get_text() for key in keys]))
14    values = bs.find_all("td")
15    for key, value in zip(keys, values):
16        record[key] = value.get_text()
17　　print(record)
18