Pythonでページ内のaタグの一覧を作りたいのですが、リンク切れURLを見つけるとストップしてしまいます。

Question

pythonで以下のコードを実行すると
途中まではaタグ内のURLをちゃんと取得してくれるのですが、
リンク切れのURL（https://kaigobed.net/?pid=32727997）を表示したあと、処理が終了してしまいます。

チェック対象のページ（'https://kaigobed.net/?mode=cate&cbid=2642391&csid=0'）内の全てのaタグ内のURLを取得したいのですが、どのようにソースを変えればよいでしょうか。
ご教示いただけますと幸いです。

response = session.get('https://kaigobed.net/?mode=cate&cbid=2642391&csid=0')

root = lxml.html.fromstring(response.content)
root.make_links_absolute(response.url)

for atag in root.cssselect('a[href]'):
    url = atag.get('href')
    print(url)

Comments

[nto]

対象としたサイトがどの様な構造で、どの様なサイトなのかがわからないので回答し難いです。
また「>> リンク切れのURL」とは具体的にどういうものをおっしゃいたいのでしょうか？
リンク先がアクセスしても404という事でしょうか？それともhref属性が与えられていない要素という事でしょうか？
一概に「リンクが切れてる」だけでは、相手にどういった状態であるものを差しているのかは具体的には伝わりません。詳細を記載してください。

[crystalglass]

御意見ありがとうございます。
具体的にどのページを対象とし、
どのページでエラーが発生しているかを
記載しました。
御確認お願い致します。

Answer 1

lxmlではなくBeautifulSoupを使用する方が便利です。

import requests
from bs4 import BeautifulSoup

target = 'https://kaigobed.net/?mode=cate&cbid=2642391&csid=0'
response = requests.get(target)
soup = BeautifulSoup(response.text, 'html.parser')

# ページ内の全ての<a>要素のhref属性の抽出
links = soup.find_all('a')
for link in links:
	print(link.get('href'))


# ページ左部のナビメニューのリンクのみを抽出する場合
navi = soup.find_all(class_='leftnav')
for menu in navi:
	for links in menu.find_all('a'):
		print(links.get('href'))

Comments

[crystalglass]

ご回答ありがとうございます。
何故、元ソースでできないのかは不明ですが、
仰るとおり、BeautifulSoupを使うと
無事、取得できるようになりました。
ありがとうございました。