urlwatch で HTML からリンクとタイトルのみ抽出したい

Question

urlwatch について

特定サイトの Web ページを監視し、前回の取得した情報との差分を抽出できる Python 製のツールです。
https://github.com/thp/urlwatch
https://urlwatch.readthedocs.io/en/latest/index.html

やりたいこと

Yahoo の速報ニュースにおいて、タイトルと URL リンクが更新した際に検知・表示させたいと考えています。

試したこと

設定ファイル（urls.yaml）を次のように設定しました。

kind: url
name: Yahoo
url: https://news.yahoo.co.jp/flash
filter:
  - xpath: //*[@id="contentsWrap"]/div[1]/div[2]/div/a

すると結果は以下のように HTML タグも表示されてしまいます。

-<a href="https://news.yahoo.co.jp/articles/eb49343e3993ba181b1f9d79dd8605a5bce89569" data-ylk="rsec:f_card1;slk:title;pos:1;" class="sc-evWYkj jcqJoz"><p class="sc-kbGplQ gtktrM">最年少防衛・九段昇段の藤井聡太棋聖「一人前になったという意識はないです」「完璧に指せたものは一局もない」</p>
-<div class="sc-exdmVY feOeGK">
-<span class="sc-idjmjb igXEah">ABEMA TIMES</span><time class="sc-fHlXLc bpPQMq">9分前</time>
+<a href=https://news.yahoo.co.jp/articles/eb49343e3993ba181b1f9d79dd8605a5bce89569 data-ylk=rsec:f_card1;slk:title;pos:1; class=sc-evWYkj jcqJoz><p class=sc-kbGplQ gtktrM>最年少防衛・九段昇段の藤井聡太棋聖「一人前になったという意識はないです」「完璧に指せたものは一局もない」</p>
+<div class=sc-exdmVY feOeGK>
+<span class=sc-idjmjb igXEah>ABEMA TIMES</span><time class=sc-fHlXLc bpPQMq>13分前</time>
 </div></a>

調査したこと

ドキュメントを確認したところ、Filter コマンドを使用することで、必要な情報のみ抽出できそうに見えます。
re.sub を使用して、正規表現で実現できるのでは考えておりますが、どのように書けばよいかわからない状況です。

ご教示頂きたいこと

理想としては、以下のようにタイトルとリンクのみ抽出できればと考えております。
最年少防衛・九段昇段の藤井聡太棋聖「一人前になったという意識はないです」「完璧に指せたものは一局もない
https://news.yahoo.co.jp/articles/eb49343e3993ba181b1f9d79dd8605a5bce89569

どうぞよろしくお願いいたします。

Answer 1

re.subだけという条件で、この文字列だけを処理すれば良いのであれば以下です。

>>> txt ='<a href="https://news.yahoo.co.jp/articles/6dffae9dc386171cefa28f3cf5945d75a1e6550d" data-ylk="rsec:f_card1;slk:title;pos:1;" class="sc-evWYkj jcqJoz" data-rapid_p="26"><p class="sc-kbGplQ gtktrM">【第９２期ヒューリック杯棋聖戦】 「カリスマ性感じる」　藤井棋聖の師匠杉本八段</p><div class="sc-exdmVY feOeGK"><span class="sc-idjmjb igXEah">産経新聞</span><time class="sc-fHlXLc bpPQMq">14分前</time></div></a>'
>>> import re
>>> print(re.sub(r'<span.*$|<[^>]*>', '', txt))
【第９２期ヒューリック杯棋聖戦】「カリスマ性感じる」　藤井棋聖の師匠杉本八段
>>> print(re.sub('.*href="|".*$', '',txt))
https://news.yahoo.co.jp/articles/6dffae9dc386171cefa28f3cf5945d75a1e6550d

これでは汎用性がないので、普通はBeautifulSoupを使って以下のようにするでしょう。

>>> from bs4 import BeautifulSoup
>>> soup =  BeautifulSoup(txt)
>>> print(soup.find('p').text)
【第９２期ヒューリック杯棋聖戦】「カリスマ性感じる」　藤井棋聖の師匠杉本八段
>>> print(soup.find('a').get('href'))
https://news.yahoo.co.jp/articles/6dffae9dc386171cefa28f3cf5945d75a1e6550d

Comments

[退会済みユーザー]

ご回答頂き誠にありがとうございます。
申し訳ございません。
説明が不十分でしたので、加筆修正させて頂きました。

ご回答頂いた内容を参考に試してみます。

[退会済みユーザー]

頂いたご回答を参考に Filter を次のとおり設定しました。
'''
kind: url
name: Yahoo
url: https://news.yahoo.co.jp/flash
filter:
- xpath: //*[@id="contentsWrap"]/div[1]/div[2]/div/a
- re.sub: (r'<span.*$|<[^>]*>', '', txt)
filter:
- xpath: //*[@id="contentsWrap"]/div[1]/div[2]/div/a
- re.sub: ('.*href="|".*$', '',txt)
'''
結果は以下のような状況でした。
-<a href="https://news.yahoo.co.jp/articles/9b0747f8a07adea3425885bc17fd8fc9db4105d0" data-ylk="rsec:f_card1;slk:title;pos:1;" class="sc-evWYkj jcqJoz"><p class="sc-kbGplQ gtktrM">「約４分で最高高度約１００キロの宇宙空間へ到達」ＩＳＴ社のロケット打ち上げ成功　大樹町　</p>
+<a href="https://news.yahoo.co.jp/articles/d4fc7be09baee6e8a2dfb909266e81f6e6a28f70" data-ylk="rsec:f_card1;slk:title;pos:1;" class="sc-evWYkj jcqJoz"><p class="sc-kbGplQ gtktrM">堀江貴文氏「正直、機体の動作はパーフェクト」　インターステラテクノロジズ「ねじのロケット」が同社2度目の「宇宙空間到達」</p>
<div class="sc-exdmVY feOeGK">
-<span class="sc-idjmjb igXEah">HTB北海道ニュース</span><time class="sc-fHlXLc bpPQMq">20分前</time>
+<span class="sc-idjmjb igXEah">ITmedia ビジネスオンライン</span><time class="sc-fHlXLc bpPQMq">たった今</time>
</div></a>

もし、他によい案があればご教示いただけますと幸いです。