Python:seleniumによるjavascript:void(0)のクリック方法

Question

前提・実現したいこと

某Web系企業が運営する販売管理アプリをスクレイピングしたいのですが、
下記のHTMLのhref属性がhttps://~ではない為、Xpathを指定してクリックしようとしたのですが
エラーになってしまいます。

スクレイピングしたいサイトとのHTML

<a id="link_menu_box" class="fw-btn jq-popup-open" href="javascript:void(0);">
              <i class="fa fa-bars"></i>
            </a>

発生している問題・エラーメッセージ

NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//*[@id="link_menu_box"]"}

該当のソースコード

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("URL")

driver.find_element(By.XPATH, '//*[@id="link_menu_box"]').click()

試したこと

WebDriverWaitやtime.sleep()で時間を置いてみた。

補足情報（FW/ツールのバージョンなど）

windows 11 64bit
python 3.10.8
jupyterlab:3.5.2
selenium:4.7.2

Answer 1

no such element

なので、該当要素が無いと言うことです。
十分時間をおいても駄目で、タイプミスや見間違いが無いとすると、
過去質問でよくあったパターンとしては、要素が iframe の中にあるというケース。別HTMLなので検索できません。
その場合は、iframe要素を取得して、そこにswitch_to.frameすれば、それ以降はそのiframeの中が検索対象になります。

Comments

[d-hayahsi]

ご回答ありがとうございます。
iframe要素はページ内にあるのですが、私がクリックしたい要素には使われていないように見えます。
質問の「スクレイピングしたいサイトとのHTML」にFirefoxのウェブ開発ツールから取得した画像を追加させて頂きました。
これを見ると、いくつかのjavascriptにより動作していると思うのですが、このよう場合はどうすれば宜しいのでしょうか。
よろしくお願いいたします。

[otn]

クリックできるかどうかはともかく、要素が見つかるかどうかに、
> いくつかのjavascriptにより動作していると思うのですが
は、おそらく関係ないと思いますが、
> いくつかのjavascriptにより動作していると思うのですが
とは具体的に何のことを言ってるのか不明なのでなんとも。

[d-hayahsi]

私の勉強不足で上手く伝えられず申し訳ございません。
iframe要素を見つけるためにChromeのデベロッパーツールを用いて検索したのですが、他にどのような探し方があるのでしょうか。
また、iframe要素を使っていない場合は、他にどのような方法でクリックできるのでしょうか。
宜しくお願い致します。

[otn]

> iframe要素を見つけるためにChromeのデベロッパーツールを用いて検索したのですが、他にどのような探し方があるのでしょうか。
具体的に何をやったのか不明なので、なんとも。デベロッパーツールで、目的ノードから親を順番に見ていけば、途中にiframeがあるかどうかわかると思うのですが。

> また、iframe要素を使っていない場合は、他にどのような方法でクリックできるのでしょうか。
iframeの中で無いのであれば、その時点で要素が存在してれば、XPath等を正しく指定すれば検索できます。
今は検索できてないので、クリックできるかはその次の話です。

[d-hayahsi]

＞具体的に何をやったのか不明なので、なんとも。デベロッパーツールで、目的ノードから親を順番に見ていけば、途中にiframeがあるかどうかわかると思うのですが。
デベロッパーツールを開き、Ctrl + Fキーで「iframe」と検索して探しました。iframeは見つかりましたが、そこにポインタを合わせると違う所がハイライトされる為、iframe要素は私が検索したい要素では使われていないのかと思いました。

＞iframeの中で無いのであれば、その時点で要素が存在してれば、XPath等を正しく指定すれば検索できます。
今は検索できてないので、クリックできるかはその次の話です。
検索とはどういうことでしょうか。
宜しくお願い致します。

[otn]

> 検索とはどういうことでしょうか。
find_elementで結果がno such element: Unable to locate elementにならずにちゃんと該当要素が返るかどうかです。

[d-hayahsi]

＞find_elementで結果がno such element: Unable to locate elementにならずにちゃんと該当要素が返るかどうかです。
そこに関しては、href属性がjavascript:void(0)となっていることが原因ではないのでしょうか。
宜しくお願い致します。

[otn]

> そこに関しては、href属性がjavascript:void(0)となっていることが原因ではないのでしょうか。
id属性で探しているので、関係ないです。

[otn]

私ならこうするですが、
for a in driver.find_elements(By.TAG_NAME,"a"):
print(f"id={a.get_attribute('id')} href={a.get_attribute('href')}")
で、目的のタグは表示されますか？

[d-hayahsi]

＞id属性で探しているので、関係ないです。
そうだったのですね。。。
どうすれば要素が返ってくるのでしょうか。
宜しくお願い致します。

[d-hayahsi]

＞for a in driver.find_elements(By.TAG_NAME,"a"):
print(f"id={a.get_attribute('id')} href={a.get_attribute('href')}")
で、目的のタグは表示されますか？
コピペして試してみたのですが、何も返ってきませんでした。
宜しくお願い致します。

[otn]

ではそのページにはaタグは1つも無いと言うことです。
過去質問では、全く別のページを見ているとかのオチもありますね。
ブラウザで見ながら実行していますか？

見ながらというのは、具体的には、
driver.find_element(By.XPATH, '//*[@id="link_menu_box"]').click()
の直前で、デバッガーで止めるとか、デバッガーが使えないなら、この行の前に
input("続行して良いですか?")
と書くとかして、一度実行を止めて、その時点でブラウザ画面を見て内容を確認する。

[otn]

あるいは、今時無いと思って書いてませんでしたが、古いページだとiframeタグでなくframesetとframeタグを使っている場合もあり、その場合もiframeと同様です。

[d-hayahsi]

お世話になっております。
driver.find_element(By.XPATH, '//*[@id="link_menu_box"]').click()
の前に
input("続行して良いですか?")
でいったん止めてみたのですが、やはり出力はなにもありませんでした。

HTMLをよく見ると取得したい要素のかなり上部に下記のiframeタグを発見しました。
<iframe src="/h5k9tpa/main/header" name="bar" id="bar" scrolling="no"></iframe>
そこで下記のようなコードを実行してみたのですが何も変化ありませんでした。
driver.switch_to.frame('main') ＃mainはid名です。

id="link_menu_box"をクリックするにはどうすれば良いのでしょうか。
宜しくお願い致します。

[d-hayahsi]

お世話になっております。
driver.switch_to.frame('main')
driver.find_element(By.XPATH, '//*[@id="link_menu_box"]').click()
上記のコードで検索することができました。
長い間ご返信いただき誠にありがとうございました。

[otn]

解決して良かったです。iframeの見落としてですか。
> デベロッパーツールで、目的ノードから親を順番に見ていけば、途中にiframeがあるかどうかわかると思うのですが。
をやっていれば、その時点で解決したかも知れません。

> でいったん止めてみたのですが、やはり出力はなにもありませんでした。
止めるかどうかで出力が変わるはずありません。
確認するのは、止めた時点のブラウザのHTMLを開発者ツールで見ることです。