seleniumで画面遷移後の要素が見つからずTimeOutになってしまう

Question

実現したいこと

seleniumを利用して機器（switch）にログイン、操作をしたい

前提

いつもお世話になっております。seleniumを使用して検証を行っています。seleniumのヘッドレスモードで機器にログインし、その画面のスクリーンショットまでは撮る事が出来たのですが画面遷移後にメニューをクリックしようとするとTimeOutエラーが出てしまいます。対処方法・コードの修正箇所等ご存じの方がいらっしゃればアドバイス等よろしくお願いします。Python初心者になります。
関数と要素の指定にはXPathを使用しています。

参考にしたサイト
https://nprogram.hatenablog.com/entry/2019/10/17/231930

※ログイン後は下記の画面になり、下の図のように管理をクリックしメニューを表示させたい

※該当箇所のHTMLです

※XPath
▶→//[@id="img_management"]　管理→//[@id="span_management"]　
上記どちらを指定してもだめでした。（フルパス指定でも）

発生している問題・エラーメッセージ

[root@localhost TEST]# python sample5.py
Traceback (most recent call last):
  File "sample5.py", line 63, in <module>
    click_menu_button_using_XPath('//*[@id="img_management"]')
  File "sample5.py", line 54, in click_menu_button_using_XPath
    EC.visibility_of_element_located((By.XPATH, element_XPath))
  File "/usr/local/lib/python3.6/site-packages/selenium/webdriver/support/wait.py", line 80, in until
    raise TimeoutException(message, screen, stacktrace)
selenium.common.exceptions.TimeoutException: Message: 

該当のソースコード

import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from webdriver_manager.chrome import ChromeDriverManager

#Chrome Optionsの設定
options = webdriver.ChromeOptions()
#ヘッドレスモード使用
options.add_argument('--headless')
#サンドボックス無効化
options.add_argument('--no-sandbox')
driver = webdriver.Chrome(options=options)
#指定したURLへ遷移
url = "http://192.168.1.1/usrlogin.asp"
driver.get(url)

#指定された要素が現れるまで待機
MAX_WAIT_TIME_SEC = 100

#XPathを用いて、ユーザー名入力
def input_login_using_XPath(element_XPath: str, send_code: str):
    element = WebDriverWait(driver, MAX_WAIT_TIME_SEC).until(
    EC.visibility_of_element_located((By.XPATH, element_XPath))
    )
    element.send_keys(send_code)

    return element
#XPathを用いて、パスワード入力
def input_login_using_XPath(element_XPath: str, send_code: str):
    element = WebDriverWait(driver, MAX_WAIT_TIME_SEC).until(
    EC.visibility_of_element_located((By.XPATH, element_XPath))
    )
    element.send_keys(send_code)

    return element
#XPathを用いてログインボタンクリック
def click_button_using_XPath(element_XPath: str):
    element = WebDriverWait(driver, MAX_WAIT_TIME_SEC).until(
    EC.visibility_of_element_located((By.XPATH, element_XPath))
    )
    element.click()

    return element
#time.sleep(10)
#XPathを用いて管理メニューをクリック
def click_menu_button_using_XPath(element_XPath: str):
    element = WebDriverWait(driver, MAX_WAIT_TIME_SEC).until(
    EC.visibility_of_element_located((By.XPATH, element_XPath))
    )
    element.click()

    return element

input_login_using_XPath('//*[@id="UserName"]', "admin").send_keys(Keys.TAB)
input_login_using_XPath('//*[@id="UserPassword"]', "password").send_keys(Keys.TAB)
click_button_using_XPath('//*[@id="btnLogin"]')
click_menu_button_using_XPath('//*[@id="img_management"]')
time.sleep(2)
driver.save_screenshot('test.png')
driver.quit()

試したこと

time.sleepの秒数増加

補足情報（FW/ツールのバージョンなど）

CentOS7
Python3.6.8

Comments

[Demerara]

'//*[@id="img_management"]' というパスにヒットする要素が複数存在していたりしませんか？
画像に表示されている CSS セレクタで指定してみてはどうでしょうか？
(By.CSS_SELECTOR, "i#img_management.icon_arrow.nav-arrowdown")
もしくは開発者ツールで該当要素のフルパスを取得して、フルパスで指定してみてください。

[can110]

対象HTMLが分かるように、クリックする手前にprint(driver.page_source)なりして
- クリックしようとしているメニュー要素はたしかに存在するか？
- 指定しているXPATHは正しいか？
を確認した結果およびprint結果を提示すると回答得られやすくなるかと思います。

[riho1128]

Demeraraさん
コメントありがとうございます。複数は存在してませんが、一つのクリック箇所に▶のimg_managementや管理のspan_managementが存在しています。以下のように修正してみましたがダメでした。間違ってたら指摘お願いします。
def click_menu_button_using_CSS_SELECTOR(elements_CSS_SELECTOR: str):
element = WebDriverWait(driver, MAX_WAIT_TIME_SEC).until(
EC.visibility_of_element_located((By.CSS_SELECTOR, elements_CSS_SELECTOR))
)
element.click()

　 return element

click_menu_button_using_CSS_SELECTOR('i#img_management.icon_arrow.nav-arrowdown')

セレクタでコピーすると#img_managementなんですがそれも指定してみたんですが、結果変わらずでした。

[riho1128]

can110さん
コメントありがとうございます。調べて情報修正します。

[Demerara]

該当要素のフルパス、というのは XPath のフルパスという意味でした。言葉足らずですいません。
しかし、セレクターでも要素が認識されないとなると can110 さんのおっしゃる通りページ遷移後の HTML を確認した方がいいかと思います。

Answer 1

すでに解決済みですが類似する事例の情報が見つかりましたので参考まで。
Buffaloのルータを寝ている間に手を触れずに再起動させる方法
ソースもTK403/buffalo-rebooterにて公開されています。
ログイン後は直接該当ページをgetしてdriver.switch_to.frameでフレーム移動していたりといった動きは参考になるかと思います。

Answer 2

大元のframeを指定する事で解決しました。コメントくださった方々、ありがとうございました。

import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from webdriver_manager.chrome import ChromeDriverManager

#Chrome Optionsの設定
options = webdriver.ChromeOptions()
#ヘッドレスモード使用
options.add_argument('--headless')
#サンドボックス無効化
options.add_argument('--no-sandbox')
#GPUハードウェアアクセラレーション無効
options.add_argument('--disable-gpu')
driver = webdriver.Chrome(options=options)
#指定したURLへ遷移
url = "http://172.30.0.5/usrlogin.asp"
driver.get(url)

#指定された要素が現れるまで待機
MAX_WAIT_TIME_SEC = 100

#XPathを用いて、ユーザー名入力
def input_login_using_XPath(element_XPath: str, send_code: str):
    element = WebDriverWait(driver, MAX_WAIT_TIME_SEC).until(
    EC.visibility_of_element_located((By.XPATH, element_XPath))
    )
    element.send_keys(send_code)

    return element
#XPathを用いて、パスワード入力
def input_login_using_XPath(element_XPath: str, send_code: str):
    element = WebDriverWait(driver, MAX_WAIT_TIME_SEC).until(
    EC.visibility_of_element_located((By.XPATH, element_XPath))
    )
    element.send_keys(send_code)

    return element
#XPathを用いてログインボタンクリック
def click_button_using_XPath(element_XPath: str):
    element = WebDriverWait(driver, MAX_WAIT_TIME_SEC).until(
    EC.visibility_of_element_located((By.XPATH, element_XPath))
    )
    element.click()

    return element
#time.sleep(10)
#XPathを用いて管理メニューをクリック
def click_menu_button_using_XPath(element_XPath: str):
    element = WebDriverWait(driver, MAX_WAIT_TIME_SEC).until(
    EC.visibility_of_element_located((By.XPATH, element_XPath))
    )
    element.click()

    return element

input_login_using_XPath('//*[@id="UserName"]', "admin").send_keys(Keys.TAB)
input_login_using_XPath('//*[@id="UserPassword"]', "password").send_keys(Keys.TAB)
click_button_using_XPath('//*[@id="btnLogin"]')
wait = WebDriverWait(driver, 10)
wait.until(EC.frame_to_be_available_and_switch_to_it((By.NAME, "nav")))
click_button_using_XPath('//*[@id="title_management"]/a')
time.sleep(2)
driver.save_screenshot('test.png')
driver.quit()