【Pythonスクレイピング】seleniumを使っていますが、find

実現したいこと

seleniumをつかったfind_element()で出るエラーを解消したい

前提

下の画像の赤枠の部分を選択したく、chromeのデベロッパーツールを開き、該当部分を右に表示させています。
該当部分に　『<div class="bt32 bt65" ~』とあったので、それをつかってfind_element()を書きました。
どの部分が誤りかおしえていただきたいです。
よろしくお願いいたします。
（※単純なミスだったらすみません）

発生している問題・エラーメッセージ

NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".bt32 bt65"}
  (Session info: chrome=111.0.5563.147)

該当のソースコード

Python
1from selenium import webdriver
2from selenium.webdriver.common.by import By
3
4url = 'https://joycasino.com/en/sports?bt-path=%2Flive'
5driver = webdriver.Chrome(r'C:\Users\user\anaconda3\chromedriver')
6driver.get(url)
7driver.implicitly_wait(5)
8driver.find_element(By.CLASS_NAME, "bt32 bt65")
9

試したこと

上の記法以外に、
・　driver.find_element(By.XPATH, '//div[@class="bt32 bt65"]')
・　driver.find_element(By.XPATH, '//svg[@data-cy="ic-search"]')
等、わからないなりに別の書き方を試しましたが、上記と同じエラーで出てダメでした

補足情報（FW/ツールのバージョンなど）

Python 3.10.9
selenium '4.8.3'

melian

2023/04/05 06:10

shadow root 内にある要素ですので、まずはそれを取り出す必要があります。 driver.implicitly_wait(5) shadow_root = driver.find_element(By.CSS_SELECTOR, 'div#bt-inner-page').shadow_root elem = shadow_root.find_element(By.CSS_SELECTOR, 'div.bt32.bt65')

ya8558

2023/04/05 13:32

コメントありがとうございます。おしえていただきました通りに打つと、 AttributeError: 'WebElement' object has no attribute 'shadow_root' と出ます。検索かけて調べたのですが、自分ではわからずです。。。どのように修正したらよいかご教示いただけますと幸いです。よろしくお願いいたします。

melian

2023/04/05 14:10

こちらの環境は Python 3.10.6/Selenium 4.8.3 ですが、対象の element を取得できています。こちらでも調べてみて何か分かりましたらコメントします。

ya8558

2023/04/06 03:06

違うPCでやってみたらできました！ありがとうございます。ただ、今のPCではなぜエラーとなってしまうかわからないので、自分で引き続き調べたうえ、疑問点が生じたらまた質問させていただければと思います。よろしくお願いいたします

行動規範の内容に同意します

回答2件

自己解決

解決できました。

本質問では、shadow_rootが絡むので、コメントでご教示いただいた
driver.implicitly_wait(5)
shadow_root = driver.find_element(By.CSS_SELECTOR, 'div#bt-inner-page').shadow_root
elem = shadow_root.find_element(By.CSS_SELECTOR, 'div.bt32.bt65'
という記述が必要で、これで本来はOKでした。

ですが自分の場合、上記コードを実行すると
AttributeError: 'WebElement' object has no attribute 'shadow_root'
とエラーが出ました。

この原因は、
seleniumのバージョンがおかしかったからのようで、
コマンドプロンプトで確認すると、

C:\Users\user>python

import selenium
selenium.version

'4.8.3'

一方、
C:\Users\user>pip list
（略）
selenium　　3.141.0

でした。

pip listを4.8.3に直したら、上述のコードが通りました。

なお、バージョンの直しについて、
ほかに良い方法が間違いなく存在すると思いますが、
自分が直せた（というか、偶然直った）経緯を載せておきます。

勝手がわからず、
C:\Users\user>pip uninstall selenium　としてみる
↓
3.141.0ではなく、「4.8.3をアンインストールしてもいいか？」と確認されたのでNを入力
（上記確認バージョンが4.8.2で一致していた別のPCで試すと、コメントでいただいたコードが通ったため。）
↓
C:\Users\user>pip list で見てみると
selenium　　4.8.3
に直っていた
↓
このまま、コードを実行してみると相変わらずエラーとなったが、
再起動して再度実行してみたら、コードが通った

といった感じです。

ご対応いただいたみなさん、ありがとうございました。

投稿2023/04/06 05:20

ya8558

総合スコア6

始めに蛇足からです。
他の質問への回答の際に気づいたのですが、Selenium公式サイトによると、
https://www.selenium.dev/ja/documentation/webdriver/elements/locators/

class name class名に値を含む要素を探す (複合クラス名は使えない)

となっているので、(By.CLASS_NAME, "bt32 bt65")のような複合クラスの指定は規格外で、(By.CSS_SELECTOR, ".bt32.bt65")のようにCSSセレクタを使うのが正しいようです。ただ、現時点ではCSSセレクターに準じて(By.CLASS_NAME, "bt32.bt65")と書けば良いようです。

ここからが本題で、
(By.XPATH, '//div[@class="bt32 bt65"]')の指定方法は正しいです。これで見つからないのであれば、今回は(By.CSS_SELECTOR, ".bt32.bt65")であっても見つからないはず。

要素が見つからないのは、いろいろ原因が考えられます。
１．frameやiframeの中にある
⇒ driver.switch_to.window(frame要素)などとしてから、検索する

２．実は、Seleniumが見ているページが想定と違う
⇒ 意外とちょいちょいある質問
⇒ find_elementの直前でプログラムを一時的に止めて、その時点のブラウザ画面を見る

３．動的に生成されたクラス名/id名で、ページ表示毎にクラス名/id名が変わる
⇒ 毎回変わるクラス名/id名以外の方法で検索する

４．クラス名/id名以外でも、ページ表示毎や、Selenium経由の時に内容が変わる
⇒ find_elementの直前でプログラムを一時的に止めて、その時点のブラウザ画面を見る

投稿2023/04/05 06:52