東京都HPからスクレイピング 要素が取得できません

Question

前提・実現したいこと

東京都のHPから以下の画像の部分の要素を取得したいのですが、できません。
https://stopcovid19.metro.tokyo.lg.jp

File "/Users/home/Desktop/python/test.py", line 16, in <module>
    element = driver.find_element_by_xpath('//*[@id="tab-0"]/div/div[2]/div/div[2]/div/div/div[6]/div/div/button/span')
  File "/usr/local/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 394, in find_element_by_xpath
    return self.find_element(by=By.XPATH, value=xpath)
  File "/usr/local/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 976, in find_element
    return self.execute(Command.FIND_ELEMENT, {
  File "/usr/local/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "/usr/local/lib/python3.9/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//*[@id="tab-0"]/div/div[2]/div/div[2]/div/div/div[6]/div/div/button/span"}
  (Session info: headless chrome=88.0.4324.150)

該当のソースコード

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.chrome.options import Options
import chromedriver_binary
import time

options = Options()
options.add_argument('--headless') 

driver = webdriver.Chrome(options=options)

driver.get('https://stopcovid19.metro.tokyo.lg.jp')

time.sleep(10)

element = driver.find_element_by_xpath('//*[@id="tab-0"]/div/div[1]/div/div[2]/div/div/div[1]/h3')

試したこと

time.sleep()で時間を挟む、例外処理でtryを何回か繰り返す、iFrame要素がないかチェックするなどしましたが実現できず
原因がわからないです。わかる方いましたらよろしくお願いします。

Comments

[otn]

findする直前で、driver.page_source を表示させてHTMLをもう一度よく見ましょう。

[Ru30]

javascript関係の問題なのでしょうか...こちらのwebページを参考にphantomJSをつかってdriver.page_sourceを表示させてみたのですがやはり該当部分の要素が見当たりません。
https://www.yoheim.net/blog.php?q=20170302

[otn]

> phantomJSをつかって
???
何をやってるのでしょう？
Seleniumを使っているのですよね？何故phantomJS?????????????????????

[Ru30]

webdriver.PhantomJS()でjavascriptが読み込めるのかなと誤解していました。
driver.page_sourceでjavascriptが読み込めていないことがわかり、当該方法を検索、解決することができました。ありがとうございました。

Answer 1

以下で解決しました。

driver.execute_script('window.scrollTo(0, document.body.scrollHeight);')