seleniumを使ったスクレイピング

Question

前提

Python 3.9.7 （anaconda3使用）でwebから要素をとってくるプログラムを作っています。
以下のエラーメッセージが発生しました。
不慣れなので必要な情報が抜けているかもしれません。

実現したいこと

以下のサイトから、マップ名（devツールで見てみると 'map-title'のクラスがついています）と、ローテーション時間（同様に 'map-countdown'のクラスがついています）をテキストとして取り出したいです。

https://apexmap.kuroi.io/

発生している問題・エラーメッセージ

どこからが必要な情報かがわからないのでターミナルをコピペしました。
見ずらくて申し訳ないです。
INUDOGはユーザー名です（笑）

(py39) C:\Users\INUDOG\OneDrive\ドキュメント\my python projects>C:/Users/INUDOG/anaconda3/envs/py39/python.exe "c:/Users/INUDOG/OneDrive/ド
キュメント/my python projects/test.py"
c:\Users\INUDOG\OneDrive\ドキュメント\my python projects\test.py:10: DeprecationWarning: use options instead of chrome_options
  driver = webdriver.Chrome('C:/Program Files (x86)/selenium/chromedriver',chrome_options=options)

DevTools listening on ws://127.0.0.1:59180/devtools/browser/2d328c73-125b-440e-ac5a-6fb866e6a794
Traceback (most recent call last):
  File "c:\Users\INUDOG\OneDrive\ドキュメント\my python projects\test.py", line 13, in <module>
    map = driver.find_element_by_xpath('//*[@id="app-shell"]/div[2]/app-br-map-rotation/app-br-rotation/app-map-rotation/div/app-hero/div/div[2]')
  File "C:\Users\INUDOG\anaconda3\envs\py39\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 394, in find_element_by_xpath   
    return self.find_element(by=By.XPATH, value=xpath)
  File "C:\Users\INUDOG\anaconda3\envs\py39\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 976, in find_element
    return self.execute(Command.FIND_ELEMENT, {
  File "C:\Users\INUDOG\anaconda3\envs\py39\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "C:\Users\INUDOG\anaconda3\envs\py39\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//*[@id="app-shell"]/div[2]/app-br-map-rotation/app-br-rotation/app-map-rotation/div/app-hero/div/div[2]"}
  (Session info: headless chrome=101.0.4951.67)

該当のソースコード

from lib2to3.pgen2 import driver
from webbrowser import Chrome
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument('--headless')
driver = webdriver.Chrome('C:/Program Files (x86)/selenium/chromedriver',chrome_options=options)
driver.get('https://apexmap.kuroi.io/br')

map = driver.find_element_by_xpath('//*[@id="app-shell"]/div[2]/app-br-map-rotation/app-br-rotation/app-map-rotation/div/app-hero/div/div[2]')
countdown = driver.find_element_by_xpath('//*[@id="app-shell"]/div[2]/app-br-map-rotation/app-br-rotation/app-map-rotation/div/app-hero/div/div[2]/div[1]')

print(map + countdown)

試したこと

最初はクラス名で探していたのですが、見つからないとエラーが返ってきたのでxpathでやってみましたができませんでした。
headlessオプションでは未確認ですが、headlessオプション無し時に10行目までは正しく動作したのを確認しています。（目的のページを開けたということ）

補足情報（FW/ツールのバージョンなど）

本題に関係するかわからないのですが、上記のリンクはそのリンク先に飛ぶと、末尾に 'br' が追加されhttps://apexmap.kuroi.io/brとなります。
なぜこのようなことが起きるのですか？

Answer 1

https://apexmap.kuroi.io/br に直接アクセスしてみるとエラーになります(404 Not Found)。URL を元の https://apexmap.kuroi.io/ に変更してみます。

#driver.get('https://apexmap.kuroi.io/br')
driver.get('https://apexmap.kuroi.io/')

time.sleep(3)

maps = driver.find_element_by_xpath('//*[@id="app-shell"]/div[2]/app-br-map-rotation/app-br-rotation/app-map-rotation/div/app-hero/div/div[2]')
countdown = driver.find_element_by_xpath('//*[@id="app-shell"]/div[2]/app-br-map-rotation/app-br-rotation/app-map-rotation/div/app-hero/div/div[2]/div[1]')

print(maps.text)
print(countdown.text)

#
World's Edge
1:04:04
Check Map
Ranked
1:04:04

Comments

[NEKOTABETAI]

回答ありがとうございます。とても助かりました。
urlとprint関数のほうに問題があったのですね。盲点でした。

Answer 2

エラーメッセージは、「そんな要素は無い」という意味なので、
（英語がわからないなら、翻訳サイトを使いましょう）
XPathの指定が間違っています。
そんな長いXPathを指定しないといけないというのは普通ではないですが、再度考え直してはどうでしょうか？

まあ、このまま進むのであれば、
'//*[@id="app-shell"]'から順に、この要素が見つかるかどうかみて、
見つかれば次は'//*[@id="app-shell"]/div[2]'といい風に1つずつ延ばしていきます。
見つからなくなった時点で、その周辺のHTMLを見直します。

Comments

[NEKOTABETAI]

回答ありがとうございます。エラー内容も把握しており、xpathもdevからコピーしているのでなぜ違うのかわかりません。

[otn]

> xpathもdevからコピーしているので
それが間違いの元でしょうね。
おそらく、今Seleniumで起動しているブラウザで見たのでなく、別途手動で起動したブラウザで見たのでは？

[NEKOTABETAI]

seleniumで起動したもので確認しましたが、何も変わりませんでした。
xpathをdevからコピーするのはなにかまずいことがあるのですか？

[otn]

> seleniumで起動したもので確認しましたが、何も変わりませんでした。
「何も変わりませんでした。」というのは「全く同じXPathが得られた」という意味ですか？
driver.find_element_by_xpath(～～) を実行する直前に確認しましたか？
言い換えると、XPathを確認した直後に driver.find_element_by_xpath(～～) を実行しましたか？

> xpathをdevからコピーするのはなにかまずいことがあるのですか？
それだと、今まさに開いているHTMLでしか通用しないXPathが得られることがあります。
例えばdiv[2] のような「何番目の要素」というのは状況によって変化する場合があります。

なので、driver.find_element_by_xpath(～～) を実行する直前にXPathを取得する必要があります。
（開発者ツールでXPathをコピペして使おうとする限りに於いてはですが）

とにかく、no such element: Unable to locate element になっているからには、「driver.find_element_by_xpath(～～) を実行した時点のHTMLに指定した要素が無い」というのは確実です。
それがエラーメッセージの意味です。

[NEKOTABETAI]

返信ありがとうございます。
大変勉強になりました。