selenium のエラー no such element: Unable to locate element: 解決できない

Question

前提

BASEのログイン画面をseleniumでスクレイピングしているコードが
ローカルでは問題なく実行できるのですが、
該当のコードをHTTPトリガーでGCPにデプロイして、
トリガーURLをPOSTリクエストするとタイトルのエラーになります。
（デプロイ自体は問題なくできます。）

実現したいこと

• 本番環境で実行させたい

発生している問題・エラーメッセージ

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"id","selector":"UserMailAddress"}

該当のソースコード

import os
import shutil
import stat
import tempfile
import time
import urllib.parse
from functools import reduce
from pathlib import Path
from dotenv import load_dotenv
from pyexpat.errors import codes

import chromedriver_binary
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium import webdriver


# 自動的にURLより認可コードを取得して返す
def main(request):

    POST_TOKEN_URL = "https://api.thebase.in/1/oauth/token"
    GRANT_TYPE_AUTHCODE = "authorization_code"

    # 認可コードの取得先URL
    GET_AUTH_URL = (
        "https://api.thebase.in/1/oauth/authorize?response_type="
        "code&client_id=%ID%&redirect_uri=%URI%&scope=%SCOPE%"
    )

    load_dotenv()

    # BASEAPIで申請したclient_id
    CLIENT_ID = os.getenv("CLIENT_ID")

    # BASEAPIで設定したコールバックURL
    APP_URL = os.getenv("APP_URL")

    # アクセスURLの作成
    auth_url = GET_AUTH_URL.replace("%ID%", f"{CLIENT_ID}")
    auth_url = auth_url.replace("%URI%", urllib.parse.quote(f"{APP_URL}", safe=""))
    auth_url = auth_url.replace("%SCOPE%", urllib.parse.quote("read_users read_orders"))

    chrome_options = webdriver.ChromeOptions()

    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    chrome_options.add_argument('--window-size=1280x1696')
    chrome_options.add_argument('--no-sandbox')
    chrome_options.add_argument('--hide-scrollbars')
    chrome_options.add_argument('--enable-logging')
    chrome_options.add_argument('--log-level=0')
    chrome_options.add_argument('--v=99')
    chrome_options.add_argument('--single-process')
    chrome_options.add_argument('--ignore-certificate-errors')
  
    time.sleep(5)

    chrome_options.binary_location = os.getcwd() + "/bin/headless-chromium"
    
    driver = webdriver.Chrome(
       os.getcwd() + "/bin/chromedriver", chrome_options=chrome_options)

    time.sleep(5)
    driver.get(auth_url)
    
    # ログインIDを入力
    # 検索テキストボックスの要素をname属性値から取得 
    login_id = driver.find_element(By.CSS_SELECTOR, "input#UserMailAddress")
    time.sleep(3)
    mail = os.getenv("MAIL")
    login_id.send_keys(mail)
    
    # パスワードを入力
    password = driver.find_element(By.CSS_SELECTOR, "input#UserPassword")
    time.sleep(3)
    pas = os.getenv("PASS")
    password.send_keys(pas)
    print(driver.page_source)
  
    # ログインボタンをクリック
    login_btn = driver.find_element(By.CLASS_NAME, "submitBtn")
    login_btn.click()

    time.sleep(3)
    # URLから認可コードの抽出
    tmp = driver.current_url.split("=")[1]
    code = tmp.split("&")[0]

    # 全てのウインドウとドライバーの終了
    driver.quit()
    time.sleep(2)
    print("実行できた!")
    print(code)

    return code

試したこと

・Chromeとchromedriverのバージョンが同じか確認済み
・print(driver.page_source)でiframeがないか確認→なし

指定の仕方を変更してみた（ローカルでは問題なく実行できました。）

・driver.find_element(By.CSS_SELECTOR, "input#UserMailAddress")
→ エラー：

 no such element: Unable to locate element: {"method":"css selector","selector":"input#UserMailAddress"}

・driver.find_element(By.NAME, "data[User][mail_address]")
→エラー：

no such element: Unable to locate element: {"method":"name","selector":"data[User][mail_address]"}

補足情報（FW/ツールのバージョンなど）

※上記のソースコードのままではローカルで動きません。

ローカルで実行確認する際は下記の削除をしてます。
・main関数の引数に入れているrequestを削除
・chromedriverとheadless-chromiumのパス削除

デプロイ時の使用コマンド （HTTPトリガー）

gcloud functions deploy test --entry-point main --trigger-http --timeout 540 --memory 512 --runtime python39 --allow-unauthenticated

参考にしたサイト
https://hacknote.jp/archives/51263/

https://tkstock.site/2022/06/14/python-selenium-developpertool-no-such-a-element/#web

ご教授いただけますと幸いです。
よろしくお願いいたします！

Answer 1

自己解決しました、デプロイ時のコマンドに問題がありました。

Answer 2

要素が見つからないというのは、
・要素の指定が間違っている
・対象にしているページ（HTML）が期待通りで無い
のどちらかですが、テスト環境でうまく行っているのならおそらく後者でしょう。
エラーになっている行の「直前」に、print(driver.page_source)を置いてHTMLを確認しましょう。

Comments

[fkan]

コメントくださりありがとうございます。
エラーの直前に print(driver.page_source) して確認してみたのですが
指定の要素はありました、、、なんででしょう。

コード↓
print(driver.page_source)
login_id = driver.find_element(By.ID, "UserMailAddress")

html.↓

<div class="controls">
<input name="data[User][mail_address]" placeholder="" required="required" disabled="disabled" type="text" id="UserMailAddress">
</div>

[otn]

環境によって得られるHTMLが異なるというのはよくあるので、それかと思ったのですが、違ったようですね。

他の要素は得られるのかとか、inputだけ指定してinputが全部得られるかとか、いろいろ、やってみるのでしょうか。

[fkan]

ご丁寧にありがとうございます！
もう少し色々試してみます！！！