pythonのスクレイピングで指定箇所ののテキストを取り出したい

Question

pythonのスクレイピングの練習で指定箇所ののテキストを取り出したいのですが、
どのようにコーディングすれば良いかが不明です。

#Urlに飛ぶ
url = "https://www.yahoo.co.jp/"
driver_path = "driver/chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get(url)

sleep(3)

#ブラウザの操作
driver.find_elements_by_tag_name("a")[25].click()

soup = BeautifulSoup(driver.page_source, 'html5lib')
time.sleep(3)

contents = soup.select('#menupick > ul > li > a')
c = len(contents)
print(c)
ts = []
for t in contents:
 tx = t.text
 print(tx)

個人的にはselectメソッドの指定方法が違うのかと思い、何度も変更を重ねて今の形としました。
ですが、selectメソッドにて所定の箇所の指定はできていると思うのですが、printした際の結果が帰ってきませんので、ご指導頂ければと思います。

Answer 1

time.sleep(3)はseleniumの処理を待つためのものなのでseleniumがアクションを起こした後に実行する必要があります。

なので

driver.find_elements_by_tag_name("a")[25].click()

soup = BeautifulSoup(driver.page_source, 'html5lib')
time.sleep(3)

であれば、クリックのイベントを発行した後、その処理を待つ前に
ソースを読み込んでBeautifulSoupで解析してから３秒待っていることになります。

正しくは、クリックのイベントを発行した後、その処理を待ってから
ソースを読み込んでBeautifulSoupで解析する必要があります。

つまり

driver.find_elements_by_tag_name("a")[25].click()
time.sleep(3)

soup = BeautifulSoup(driver.page_source, 'html5lib')

が正しいですね。

Comments

[Nihsi2407]

無事解決いたしました！
ありがとうございます！