python, beautifulsoupで取得したデータから不要な情報を取り除きたい

Question

前提・実現したいこと

python3系でbeatifulsoupを使い、特定ページから情報を取得したいが、取得済みの情報に一部不要のものが入ってしまいます。

取得したい情報：<a href="/works/12345678">AAAA</a>
不要の情報：<a href="/works/12345678/chapters/87654321">BBB</a>

正規表現の条件を何度か変更して試してみたが、うまく不要の情報を取り除けなくて、
取得したい情報のみ保持する正規表現の修正方法をご教示していただきたいです。
また正規表現じゃなくてもほかのアプローチがあればぜひ教えていただければと思います。

該当のソースコード

url = "https://xxxxxx"
res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")
elems = soup.find_all("a")

works = soup.find_all(href=re.compile(r'[/works/]\d{8}$'))
for work in works:
print(work)

出力結果

<a href="/works/12345678">AAAA</a>
<a href="/works/12345678/chapters/87654321">BBB</a>

###補足情報（FW/ツールのバージョンなど）
python3系のanaconda環境下で, jupyter notebookを使用しています。

Answer 1

AAAの側だけを取りたいときの条件を、質問文のコードから「/works/00000000の形式のリンクのみに絞りたい」という表現と解釈するならば、

- works = soup.find_all(href=re.compile(r'[/works/]\d{8}$'))
+ works = soup.find_all(href=re.compile(r'^/works/d{8}$'))

で、取得できるのではないかなと。

もとの正規表現だと、「/,w,o,r,k,sのいずれかで始まり8桁の数値で終わる」になるため、

• 開始が考慮できていない
• /works/を語句として出来ていない

あたりが原因となって抽出に失敗していそうです。

Comments

[hatiko]

ご指摘していただいた通り、該当2点の考慮ができていなくて、条件をr'^/works/\d{8}$に変更したところ、無事ほしい情報だけ抽出できるようになりました。ありがとうございます。