質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

Q&A

解決済

1回答

1536閲覧

複数のページをまたいでスクレイピングしたいです。

yudai109

総合スコア18

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

0グッド

1クリップ

投稿2019/11/01 02:28

前提・実現したいこと

複数のページをまたいで、href属性の値を取得したいです。
https://tenshoku.mynavi.jp/search/list/
このページにある「詳細を見る」にあるhref属性を全て取得し、次のページに「▶︎」ボタンを押して移動。
また「詳細を見る」ボタンにあるhrefを取得。移動・・

を繰り返したいと考えています。

発生している問題・エラーメッセージ

https://tenshoku.mynavi.jp//jobinfo-127282-1-22-1/?ty=rzs&searchId=1209337739&pageNum=1&showNo=1 Traceback (most recent call last): File "sample3_1.py", line 23, in <module> next_page = driver.find_element_by_class_name('iconFont--arrowLeft') File "/Users/yudai/opt/anaconda3/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 564, in find_element_by_class_name return self.find_element(by=By.CLASS_NAME, value=name) File "/Users/yudai/opt/anaconda3/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 978, in find_element 'value': value})['value'] File "/Users/yudai/opt/anaconda3/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute self.error_handler.check_response(response) File "/Users/yudai/opt/anaconda3/lib/python3.7/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".iconFont--arrowLeft"} (Session info: chrome=78.0.3904.70)

該当のソースコード

from selenium import webdriver from bs4 import BeautifulSoup import requests driver = webdriver.Chrome(executable_path='chromedriver') driver.get('https://tenshoku.mynavi.jp/search/list/') res = requests.get('https://tenshoku.mynavi.jp/search/list/') res.raise_for_status() soup = BeautifulSoup(res.text, "html.parser") elems = soup.select('.linkArrowS') i = 2 for elem in elems: if elem.string == '詳細を見る': elem_rink = elem.get('href') if 'msg/' in elem_rink: elem_rp = elem_rink.replace('msg/', '') print('https://tenshoku.mynavi.jp/' + elem_rp) else: print('https://tenshoku.mynavi.jp/' + elem_rink) next_page = driver.find_element_by_class_name('iconFont--arrowLeft') next_page.click()

補足情報(FW/ツールのバージョンなど)

お力添えをいただきたいです。。
よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

t_obara

2019/11/01 03:26

waitを適切に挿入してはいかがでしょうか。 画面遷移直後はdom要素の構築に時間がかかるので、要素がまだないのにfindをしようとしているように見受けられます。
yudai109

2019/11/01 05:53

ありがとうございます! 時間修正しても見ることができました!
guest

回答1

0

ベストアンサー

普通にURLにパラメーター追加したら見れます

python

1from bs4 import BeautifulSoup 2import requests 3from urllib.parse import urljoin 4 5for n in range(1, 5): 6 url = f"https://tenshoku.mynavi.jp/search/list/?pageNum={n}" 7 8 res = requests.get(url) 9 res.raise_for_status() 10 soup = BeautifulSoup(res.text, "html.parser") 11 for i in soup.find_all("a", class_='linkArrowS', text="詳細を見る"): 12 print(urljoin(url, i.get("href")).replace("/msg/","/"))

投稿2019/11/01 05:47

編集2019/11/01 06:38
barobaro

総合スコア1286

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

yudai109

2019/11/01 05:57

ご回答ありがとうございます!! このソースコードを実行させていただいたところ、なぜか同じhref属性の値が繰り返し出力されることとなってしまいました。。。 上記のコードでURLのパラメーター変更したらいいことに気がつき、同じようにパラメーターを追加して実行してみていたのですが、同じように繰り返し同じURLが出力されることになってしまいました。。 (出力結果の一部) https://tenshoku.mynavi.jp/jobinfo-256535-1-2-1/?ty=rzs&searchId=1209371996&pageNum=1&showNo=1 https://tenshoku.mynavi.jp/jobinfo-254362-1-7-1/?ty=rzs&searchId=1209371996&pageNum=1&showNo=2 ・ ・ https://tenshoku.mynavi.jp/jobinfo-196777-1-35-5/?ty=0&searchId=1209371996&pageNum=1&showNo=49 https://tenshoku.mynavi.jp/jobinfo-204416-1-20-1/?ty=0&searchId=1209371996&pageNum=1&showNo=50 https://tenshoku.mynavi.jp/jobinfo-256535-1-2-1/?ty=rzs&searchId=1209371996&pageNum=1&showNo=1 https://tenshoku.mynavi.jp/jobinfo-254362-1-7-1/?ty=rzs&searchId=1209371996&pageNum=1&showNo=2 ・ ・ https://tenshoku.mynavi.jp/jobinfo-196777-1-35-5/?ty=0&searchId=1209371996&pageNum=1&showNo=49 https://tenshoku.mynavi.jp/jobinfo-204416-1-20-1/?ty=0&searchId=1209371996&pageNum=1&showNo=50 ・ ・ ・ 別の質問でもさせていただいてるのですが、どうすれば解決できそうでしょうか。。
barobaro

2019/11/01 06:34

変数名とfをつけるの忘れてました。
yudai109

2019/11/01 06:47

ありがとうございます! 感謝しても仕切れないです!! 回答例まで提示してくださって本当にありがとうございます! 僕自身、barobaroさんのように人に教えることができるようになるまで勉強して頑張っていきます! 今後とも、よろしくお願いします!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問