Python、Seleniumを利用し、ある銀行に証明書ログインを試みている時に証明書ダイアログのOKが押せない

Question

ある銀行にログインするだけのシンプルなPythonのプログラムを作っています。

起こっている問題

銀行のトップページから、ログインボタンをクリック⇒証明書ログインをクリックすると
証明書選択ダイアログがポップアップして、証明書が選択された状態になります。

そこまではいいのですが、
証明書ダイアログの「OK」のボタンがクリックできず、そこで止まってしまいます。

最終的に下記のようにタイムアウトエラーになってしまいます。

TimeoutException: Message: timeout: Timed out receiving message from renderer: -0.013
  (Session info: chrome=80.0.3987.163)

プログラムが止まる箇所は次のコードの箇所です。
コードに問題があるというより、ダイアログ自体を認識できていない感じがします。

driver.find_element_by_xpath("//input[@name='']").click()

証明書選択のダイアログを認識していないみたいです。

今回のプログラム

今回動かそうとしているプログラムは下記になります。

from selenium import webdriver
import chromedriver_binary
from selenium.webdriver.support.select import Select
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.alert import Alert
import time

'''
ダウンロードフォルダーをデフォルトから変更
↓のコメントアウトを外すと5行目のインポートはいらない
'''
# options = webdriver.ChromeOptions()
options = Options()

options.add_experimental_option('prefs', {
'download.default_directory': r'G:\Fのバックアップ\ドキュメント',
'download.prompt_for_download': False,
'download.directory_upgrade': True,
'safebrowsing.enabled': True
})
# options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
# 要素が見つかるまで30秒待つ設定
driver.implicitly_wait(30)

driver.get("https://www.shizuokabank.co.jp/corporation/index.html")
driver.find_element_by_xpath(u"//img[@alt='ログインはこちら']").click()
# ERROR: Caught exception [ERROR: Unsupported command [selectWindow | win_ser_1 | ]]
# ウィンドウハンドルを取得する
handle_array = driver.window_handles
# seleniumで操作可能なdriverを切り替える
driver.switch_to.window(handle_array[1])
driver.find_element_by_name("forward_rblgi01_s01").click()
time.sleep(2)

# ここで証明書選択の選択ダイアログがポップアップする。
# 証明書の選択はできているが、OKがクリックできない。
driver.find_element_by_xpath("//input[@name='']").click()
time.sleep(2)

# ERROR: Caught exception [ERROR: Unsupported command [selectWindow | win_ser_2 | ]]
driver.find_element_by_xpath("//button[@value='0']").click()
driver.find_element_by_xpath("//button[@value='0']").click()
driver.find_element_by_xpath("//button[@value='0']").click()
driver.find_element_by_xpath("//button[@value='0']").click()
driver.find_element_by_xpath("//button[@value='0']").click()
driver.find_element_by_xpath("//button[@value='0']").click()
driver.find_element_by_xpath("//button[@value='0']").click()
driver.find_element_by_xpath("//button[@value='0']").click()
driver.find_element_by_xpath("//button[@value='0']").click()
driver.find_element_by_id("confirmBtn").click()

time.sleep(2)

試したこと

①ダイアログにWindowを切り替えればOKボタンをクリックできるのかと思い、下記のコードをエラー箇所の前に設置してみましたが動きませんでした。

# ウィンドウハンドルを取得する
handle_array = driver.window_handles
# seleniumで操作可能なdriverを切り替える
driver.switch_to.window(handle_array[1])

②普段使っているクロームで証明書を自動選択するようにして、Seleniumにそのクロームのプロファイルを設定して起動してみましたが、挙動は変わりませんでした。

③証明書のダイアログのOKボタンの要素を取得しようとしていますが、右クリックで検証を押してもソースが真っ白で見れません。

④証明書を選択している部分で手動でEnterを押すとOKボタンをクリックできると分かったので、
pyautoguiをimportしてEnterを押している（press('enter'))のですが、何も動きません。

環境

Windows10
Python3.7.6

結構考え込んでて手詰まり感があります。
ご知見のある方どうぞよろしくお願いいたします。

Answer 1

銀行の電子証明書等の選択画面はブラウザではなく、OSから発せられてるポップアップの様です。
従いましてseleniumでは恐らく操作出来ないものと思われます。
Windows環境であればレジストリを修正することで自動選択させることが出来ます。
私も同じ問題でつまづき、下記記事を参照に回避することが出来ました。

https://support.google.com/chrome/a/answer/7649838?hl=ja
https://getadmx.com/?Category=Chrome&Policy=Google.Policies.Chrome::AutoSelectCertificateForUrls&Language=ja-jp

Comments

[退会済みユーザー]

ちょうどWindowsでしたので、とても参考になりました。
やはりこのやり方ですね。
ありがとうございますm(_ _)m

Answer 2

DOMやjsを見る限り全体的にコメントアウトも豊富で
スクレイピングしやすいようにできていると思います。
ただ、肝心の部分が証明書がないと現れないようで確認ができません。

法人用のお客様ということは仕事でやっているスクレイピングでしょうか。
色々情報をいただければできそうですが、流石にこればっかりは無理そうですね。。

右側にあるIDPW入力をしてみてはとしか答えようがないです。。。

your_login_id = 'hogehoge'
your_login_pw = 'fugafuga'
driver.execute_script('document.getElementById("blGI001InfoLoginId").value="%s";' % yout_login_id)
driver.execute_script('document.getElementById("skloginpwdshiyoumu").click()')
driver.execute_script('document.getElementsByClassName("jqDialog_confirm_btnOK")[0].click()')
driver.execute_script('document.getElementById("blGI001InfoLoginPwd").value="%s";' % yout_login_pw)
driver.execute_script('document.getElementById("loginBtn").click()')