ページ内クリック後に変化したhtmlを入手したい

Question

seleniumとBeautifulSoupを使って、Yahooニュースでスクレイピングをしようとしています。
seleniumでchromeから自動検索して検索結果のページのソースを回収したいと思っているのですが、
ページ下部の「もっと見る」をクリックして記事の表示数が増えた後のソースを入手しようとしても、クリック前と同じソースしか手に入れることができません。
URLがクリック前と後で変わらないので、それが原因のひとつかなとは思っています。
これの解決方法はありますでしょうか？
回答よろしくお願いいたします。

※BeautifulSoupで解析したいので、それが可能な方法だと嬉しいです。

使用しているコードは下記の通りです。(初心者が1 から書いているので見にくいかもしれません)

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome import service as fs
from bs4 import BeautifulSoup
import requests
from time import sleep

topic = input()

chrome_service = fs.Service(executable_path='ファイルパス')
driver = webdriver.Chrome(service=chrome_service)
driver.get('https://news.yahoo.co.jp')
form = driver.find_element(By.XPATH,'//*[@id="searchBoxWrap-header"]/form/div/div/div[1]/input[1]')
form.send_keys(topic)
form.submit()

element = driver.find_element(By.XPATH,'//*[@id="contentsWrap"]/div/div[2]/div/div/span/button')
element.click()
sleep(3)

top_url = driver.current_url
top_responce = requests.get(top_url)
top_soup = BeautifulSoup(top_responce.text, 'html.parser')
type(top_soup)

Answer 1

画面遷移後のdriver.page_sourceで取得できるかと思います。
※待機時間については適時対応してください。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome import service as fs
from bs4 import BeautifulSoup
import requests
from time import sleep

topic = input()

chrome_service = fs.Service(executable_path='/Users/taniguchitakuki/BeautifulSoup/chromedriver')
driver = webdriver.Chrome(service=chrome_service)
driver.get('https://news.yahoo.co.jp')
form = driver.find_element(By.XPATH,'//*[@id="searchBoxWrap-header"]/form/div/div/div[1]/input[1]')
form.send_keys(topic)
form.submit()

element = driver.find_element(By.XPATH,'//*[@id="contentsWrap"]/div/div[2]/div/div/span/button')
element.click()
sleep(3)
print(driver.page_source)

---

コメントを受けて追記。

topic = input()

chrome_service = fs.Service(executable_path='chromedriver.exe')
driver = webdriver.Chrome(service=chrome_service)
driver.get('https://news.yahoo.co.jp')
form = driver.find_element(By.XPATH,'//*[@id="searchBoxWrap-header"]/form/div/div/div[1]/input[1]')
form.send_keys(topic)
form.submit()
top_url = driver.current_url
top_responce = requests.get(top_url)
top_soup = BeautifulSoup(top_responce.text, 'html.parser')
with open("1.txt", "w", encoding="utf-8") as f:
    f.write(top_soup.prettify())
element = driver.find_element(By.XPATH,'//*[@id="contentsWrap"]/div/div[2]/div/div/span/button')
element.click()
sleep(3)
with open("2.txt", "w", encoding="utf-8") as f:
    f.write(BeautifulSoup(driver.page_source, 'html.parser').prettify())
    # f.write(driver.page_source)

当方の実行結果では1.txtは3434行で、2.txtは6184行となりました｡よってデータを取得できていると思うのですが質問者さんの方ではelement.click()の前後で全く同じテキストしか取得できないのでしょうか？

Comments

[nef-bre]

回答ありがとうございます。
提案いただいた方法を試してみたのですが、それでもうまくいきませんでした。
待機時間を延長したりしてみたものの、やはり変化はありませんでした。
もし他にアイデアございましたら、ご提案いただければ幸いです。

[meg_]

こちらの環境では回答のコードで質問者さんの元のコードで取得できていなかったものが取得できています。
参考までに検索ワードに何を指定しましたか？

[nef-bre]

返信が遅くなり申し訳ありません。
検証時の検索ワードには「大谷翔平」を使用していました。

[nef-bre]

何度も申し訳ありません。
主題から逸れてしまうのですが、自分が載せたコードやご提案いただいたコードを試そうとしたところ、seleniumがうまく動作しなくなりました。
以下のようなエラーが出ています。
これに関してわかることがあれば教えていただきたく思います。
図々しいですが、よければお願いいたします。

Traceback (most recent call last):
File "/Users/taniguchitakuki/BeautifulSoup/sample2.py", line 15, in <module>
form.submit()
File "/opt/anaconda3/envs/selenium/lib/python3.9/site-packages/selenium/webdriver/remote/webelement.py", line 103, in submit
self._parent.execute_script(script, self)
File "/opt/anaconda3/envs/selenium/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 493, in execute_script
return self.execute(command, {
File "/opt/anaconda3/envs/selenium/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 435, in execute
self.error_handler.check_response(response)
File "/opt/anaconda3/envs/selenium/lib/python3.9/site-packages/selenium/webdriver/remote/errorhandler.py", line 247, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: cannot determine loading status
from unknown error: unexpected command response
(Session info: chrome=103.0.5060.53)

[meg_]

Chromeとchromedriverのバージョンは一致していますよね？

[nef-bre]

バージョン確認し、一応それに合わせてchromedriverを再度インストールしましたが、特に変化はありませんでした。

[nef-bre]

お尋ねしていた部分、全て解決しました！
seleniumのエラーに関しては、　formに値を入力した後、待機時間を与えてからsubmitすれば動きました。
また、ご提案いただいたコードで試したところ、欲しかったデータも入手することができました。
長い間付き合っていただきありがとうございました！