複数のページをまたいでスクレイピングしたいです。

前提・実現したいこと

複数のページをまたいで、href属性の値を取得したいです。
https://tenshoku.mynavi.jp/search/list/
このページにある「詳細を見る」にあるhref属性を全て取得し、次のページに「▶︎」ボタンを押して移動。
また「詳細を見る」ボタンにあるhrefを取得。移動・・

を繰り返したいと考えています。

発生している問題・エラーメッセージ

https://tenshoku.mynavi.jp//jobinfo-127282-1-22-1/?ty=rzs&searchId=1209337739&pageNum=1&showNo=1
Traceback (most recent call last):
  File "sample3_1.py", line 23, in <module>
    next_page = driver.find_element_by_class_name('iconFont--arrowLeft')
  File "/Users/yudai/opt/anaconda3/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 564, in find_element_by_class_name
    return self.find_element(by=By.CLASS_NAME, value=name)
  File "/Users/yudai/opt/anaconda3/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 978, in find_element
    'value': value})['value']
  File "/Users/yudai/opt/anaconda3/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "/Users/yudai/opt/anaconda3/lib/python3.7/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".iconFont--arrowLeft"}
  (Session info: chrome=78.0.3904.70)

該当のソースコード

from selenium import webdriver
from bs4 import BeautifulSoup
import requests

driver = webdriver.Chrome(executable_path='chromedriver')
driver.get('https://tenshoku.mynavi.jp/search/list/')
res = requests.get('https://tenshoku.mynavi.jp/search/list/')
res.raise_for_status()
soup = BeautifulSoup(res.text, "html.parser")
elems = soup.select('.linkArrowS')

i = 2

for elem in elems:
    if elem.string == '詳細を見る':
        elem_rink = elem.get('href')
        if 'msg/' in elem_rink:
            elem_rp = elem_rink.replace('msg/', '')
            print('https://tenshoku.mynavi.jp/' + elem_rp)
        else:
            print('https://tenshoku.mynavi.jp/' + elem_rink)

    next_page = driver.find_element_by_class_name('iconFont--arrowLeft')
    next_page.click()

補足情報（FW/ツールのバージョンなど）

お力添えをいただきたいです。。
よろしくお願いいたします。

t_obara

2019/11/01 03:26

waitを適切に挿入してはいかがでしょうか。画面遷移直後はdom要素の構築に時間がかかるので、要素がまだないのにfindをしようとしているように見受けられます。

yudai109

2019/11/01 05:53

ありがとうございます！時間修正しても見ることができました！

行動規範の内容に同意します

回答1件

ベストアンサー

普通にURLにパラメーター追加したら見れます

python
1from bs4 import BeautifulSoup
2import requests
3from urllib.parse import urljoin
4
5for n in range(1, 5):
6    url = f"https://tenshoku.mynavi.jp/search/list/?pageNum={n}"
7
8    res = requests.get(url)
9    res.raise_for_status()
10    soup = BeautifulSoup(res.text, "html.parser")
11    for i in soup.find_all("a", class_='linkArrowS', text="詳細を見る"):
12        print(urljoin(url, i.get("href")).replace("/msg/","/"))

投稿2019/11/01 05:47

総合スコア1286

2019/11/01 05:57

2019/11/01 06:34

変数名とfをつけるの忘れてました。

yudai109

2019/11/01 06:47

ありがとうございます！感謝しても仕切れないです！！回答例まで提示してくださって本当にありがとうございます！僕自身、barobaroさんのように人に教えることができるようになるまで勉強して頑張っていきます！今後とも、よろしくお願いします！

行動規範の内容に同意します

あなたの回答

tips

プレビュー

行動規範の内容に同意します

質問の解決につながる回答をしましょう。サンプルコードなど、より具体的な説明があると質問者の理解の助けになります。また、読む側のことを考えた、分かりやすい文章を心がけましょう。

15分調べてもわからないことは
teratailで質問しよう！

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

『🎄teratailクリスマスプレゼントキャンペーン2024🎄』開催中！

＼teratail特別グッズやAmazonギフトカード最大2,000円分が当たる！／

複数のページをまたいでスクレイピングしたいです。

前提・実現したいこと

発生している問題・エラーメッセージ

該当のソースコード

補足情報（FW/ツールのバージョンなど）

関連した質問