【BeautifulSoup4 ✕ lxml】href要素が取得できません。

Question

href要素が取得できません。

環境

• python3
• BF4
• lxml

目的

indexページの詳細ページへの20件のリンクを取得したい。

対象URL：https://re-katsu.jp/career/search/kanto/?pagCnt=1

エラー内容

以下コードをでprintすると [] という出力しか帰ってきません。

import requests
from bs4 import BeautifulSoup


# 各ページURLの取得------------------------
page_lists = []
for page in range(1,3):
    url = 'https://re-katsu.jp/career/search/kanto/?pagCnt={}'.format(page)
    page_lists.append(url)


# --------------------------
soups = []
for page_list in page_lists:
    r = requests.get(page_list)
    soup = BeautifulSoup(r.text, 'lxml')
    soup = soup.select('.headers > h3 > a[href="../../company/recruit/"]')
    print(soup)

どなたかご教示お願い致します(´-﹏-`；)

Answer 1

a要素を直接指定したら取得できました。
hrefs = soups.select('div.headers > h3 > a')

urls = []
for page_list in page_lists:
    r = requests.get(page_list) #要素を取得
    soups = BeautifulSoup(r.text, 'lxml') #Parse指定
    hrefs = soups.select('div.headers > h3 > a') 

Answer 2

r.textを出力して、.headers > h3 > a[href="../../company/recruit/"]があるかを確認しましょう。

Comments

[Kantan.lab]

ありがとうございます！存在はしておりました！

少しh3の部分をクラス指定にして`soup = soup.select('.headers > .label-jobcatchcopy')`として、出力するすると、以下のうように抽出できますが、そこからhrefだけ取得したいのですが、 a[href="../../company/recruit/"]に指定すると[ ] な返答になります。

<h3 class="label-jobcatchcopy">
<a href="../../company/recruit/25851/" id="ctl00_ContentPlaceHolder1_rptCmpListCtl_ctl19_CmpListCtl_lblJobCatchCopy" target="_blank">【システムエンジニア】★応募者全員と面接★未経験から最大6ヶ月の研修で育てます≪資格取得率98％≫</a>
</h3>]

[otn]

a[href="../../company/recruit/"]
という要素が無いですよ。
a[href="../../company/recruit/25851/"]
のことであれば、そう指定しましょう。

[Kantan.lab]

部分一致だと認識していました..

ですが、やはりすべて指定しても出力されないですね。

[Kantan.lab]

@otn さん

自己解決できました。ありがとうございました！