PythonでWikipediaのスクレイピングした時のCSSセレクタの指定

Question

PythonとBeautiful Soupで声優のWikipediaのページから、テレビアニメに何年に何作品出演したかをカウントするプログラムを作っています。
ほとんどの声優のページはsoup.select_one('dl')でテレビアニメに出演した部分を取得することができますが、
ページのレイアウトによってはこの指定ではうまくいかない人がいます。

うまくいかない人の一例だと
・平野綾さん(舞台の出演作品が先に載っているため)
・飯田奈保美さん(テレビアニメの出演部分がdlではなくulになっており、dlではゲームの出演作品部分を取得することになるため)

ピンポイントで出演項目のテレビアニメの下のdlもしくはulを指定する方法ありますか？

Answer 1

Wikipediaは公式にAPIを用意しています。スクレイピングは望ましくありません。

Answer 2

既に解決はしている様ですが
beautifulsoupでは以下の様にclass属性やID属性、要素の文字列を指定する事が可能です。

from bs4 import BeautifulSoup

html = '''<span class="mw-headline" id="テレビアニメ">テレビアニメ</span>'''
soup = BeautifulSoup(html, 'html.parser')

# find系の場合
soup.find('span', class_='mw-headline', id='テレビアニメ', string='テレビアニメ')
# select系の場合
soup.select_one('span.mw-headline#テレビアニメ')

---

また今回のケースですと、上記のspan要素を取得してから
その親要素<h3>を取得→<h3>の次の兄弟要素を取得
とすれば、抽出対象の要素が<dl>であっても<ul>であっても
一度でテレビアニメ作品の抽出が可能でしょう。

Comments

[caohfhxpo]

ありがとうございます。
目標を定めてから.parent.next_siblingと目的の場所まで移動していけば良かったんですね。
よく理解できました。

Answer 3

ずっと該当部分をCSSセレクタで指定しないとダメだと思い込んでましたが、
ページ全体をリストし、mw-headlineがテレビアニメだった時から、次mw-headlineが現れるまでの範囲を取得すれば自分のやりたいことが実現できる気がしてきました。