PythonでWikipediaのスクレイピングした時のCSSセレクタの指定

PythonとBeautiful Soupで声優のWikipediaのページから、テレビアニメに何年に何作品出演したかをカウントするプログラムを作っています。
ほとんどの声優のページはsoup.select_one('dl')でテレビアニメに出演した部分を取得することができますが、
ページのレイアウトによってはこの指定ではうまくいかない人がいます。

うまくいかない人の一例だと
・平野綾さん(舞台の出演作品が先に載っているため)
・飯田奈保美さん(テレビアニメの出演部分がdlではなくulになっており、dlではゲームの出演作品部分を取得することになるため)

ピンポイントで出演項目のテレビアニメの下のdlもしくはulを指定する方法ありますか？

行動規範の内容に同意します

回答3件

Wikipediaは公式にAPIを用意しています。スクレイピングは望ましくありません。

投稿2020/11/03 09:59

maisumakun

総合スコア145952

既に解決はしている様ですが
beautifulsoupでは以下の様にclass属性やID属性、要素の文字列を指定する事が可能です。

python
1from bs4 import BeautifulSoup
2
3html = '''<span class="mw-headline" id="テレビアニメ">テレビアニメ</span>'''
4soup = BeautifulSoup(html, 'html.parser')
5
6# find系の場合
7soup.find('span', class_='mw-headline', id='テレビアニメ', string='テレビアニメ')
8# select系の場合
9soup.select_one('span.mw-headline#テレビアニメ')