seleniumを使ったスクレイピングを行いたいです。

Question

seleniumを使ったスクレイピングを行いたいです。
こちらのサイトのリストになっている各お店のURLをfor文を使って取得したいのですが
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".a"}(Session info: headless chrome=84.0.4125.0)
とエラーが出てしまいます。

どうすれば各お店のURLを取得できますか？
何か必要なものがあれば追記します。よろしくお願いします。

from selenium import webdriver #seleniumのimport
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.alert import Alert
from selenium.common.exceptions import NoAlertPresentException
from time import sleep
import traceback
import pandas as pd 



def video():
	number_lists = pd.DataFrame()
	num = 1
	try:
		options = Options()
		options.binary_location = '/Applications/Chromium.app/Contents/MacOS/Chromium'
		options.add_argument('--headless')

		driver = webdriver.Chrome(options=options)
		driver.get("https://r.gnavi.co.jp/area/hokkaido/rs/")
		sleep(10)
		parentElement = driver.find_elements_by_class_name("result-cassette__list")[1].find_elements_by_tag_name("li")
		sleep(5)

		for i in parentElement:
			sleep(5)
			li_link = i.find_element_by_class_name('a').get_attribute('href')
			driver.get(li_link)

		driver.close()
	except:
		traceback.print_exc()
		driver.quit()

video()

#追記

def main():
	try:
		options = Options()
		options.binary_location = '/Applications/Chromium.app/Contents/MacOS/Chromium'
		options.add_argument('--headless')

		driver = webdriver.Chrome(options=options)
		driver.get("https://r.gnavi.co.jp/area/hokkaido/rs/")
		sleep(5)
		parentElement = driver.find_elements_by_class_name("result-cassette__list")[1].find_elements_by_tag_name('li')
		sleep(5)
		print(parentElement)
		for i in parentElement:
			sleep(5)
			li_links = i.find_element_by_tag_name('a').get_attribute('href')
			print(li_links)
		driver.close()
	except:
		traceback.print_exc()
		driver.quit()

main()

#成功
上記のコードだとresult-cassette__itemに入っている<li>を全て取得していたので、数が多くエラーの原因になっていたと思います。
クラス名を指定すると欲しいものだけ取得する事ができました。

もっと簡単な方法があれば教えていただけると幸いです。

def main():
	try:
		options = Options()
		options.binary_location = '/Applications/Chromium.app/Contents/MacOS/Chromium'
		options.add_argument('--headless')

		driver = webdriver.Chrome(options=options)
		driver.get("https://r.gnavi.co.jp/area/hokkaido/rs/")
		sleep(5)
		parentElement = driver.find_elements_by_class_name("result-cassette__wrapper")[1].find_elements_by_class_name('result-cassette__item')
		sleep(5)
		for i in parentElement:
			sleep(5)
			li_links = i.find_element_by_tag_name('a').get_attribute('href')
			print(li_links)
		driver.close()
	except:
		traceback.print_exc()
		driver.quit()

main()

Answer 1

find_element_by_class_name('a')ではなく、find_element_by_tag_name('a')では？
クラスとタグの区別が付いていますか？

Comments

[forest_rice]

find_element_by_tag_name('a')に直したところ、no such element:エラーは無くなったのですが、また新しく、
selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document
と言うエラーが出てしまいます。
待機時間の問題のようですが、待機時間をsleep(100)などと大幅に伸ばしても、解決できませんでした、アドバイスいただけると幸いです。
よろしくお願いします。

[otn]

現在表示中のページの要素でない要素を使おうとしたと言うことです。
driver.getでページを遷移したら、古いページの要素は使えません。当たり前ですね。

１．ページA表示
２．ページAの要素を取得して変数Xに
３．ページBに遷移
４．変数Xの要素を使おうとした→そのエラー

ページ遷移は要素を使い終わってから。

[forest_rice]

返信ありがとうございます。
改良してエラーは無くなったのですが、同じURLしか取得できませんでした。
各URLを取得するにはどうすればよいでしょうか

[otn]

print(li_links)が表示する物が全部同一だと言うことですか？それなら同じなのでは？

[forest_rice]

なるほど、ありがとうございました！！