Pythonでseleniumを使いスクレイピングしたいのですが、click()ができない

Question

実現したいこと

最終目標はPythonでスクレイピングすることが目的です。
モジュールはselemiumを使ってます。
今はコードの最後の動作を行いたいです。

前提

Pythonで自動スクレイピングアプリを作成してまして、ローカルのエクセルから指定データを抽出し、検索ページに出力して情報を引き出す。その結果を再度エクセルの指定箇所に出力する。

発生している問題・エラーメッセージ

検索結果の該当カテゴリーをクリックで選択するのだが、クリックすることができない。
エラーメッセージ：

Warning (from warnings module):
File "C:\Users\USER\Desktop\Python作業フォルダ\test.py", line 17
browser = webdriver.Chrome(r'C:\chromedriver\chromedriver.exe')
DeprecationWarning: executable_path has been deprecated, please pass in a Service object

Traceback (most recent call last):
File "C:\Users\USER\Desktop\Python作業フォルダ\test.py", line 30, in <module>
element = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="main_contents"]/main/div[2]/div[2]/dl/dd/ul/li[2]/a'))).click()
File "C:\Users\USER\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.10_qbz5n2kfra8p0\LocalCache\local-packages\Python310\site-packages\selenium\webdriver\support\wait.py", line 95, in until
raise TimeoutException(message, screen, stacktrace)

該当のソースコード

import time
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

##使うエクセルを指定する
df = pd.read_excel('エクセルファイル名.xlsx',sheet_name =0)

##抜き取るシート内の情報
for row in df.values:
    print(row[6])

##検索ページを開く
browser = webdriver.Chrome(r'C:\chromedriver\chromedriver.exe')
browser.get('https://www2.jasrac.or.jp/eJwid/main?trxID=F00100')

##エクセルから取った情報を該当箇所に記入して検索掛ける
wait = WebDriverWait(browser, 50)
element = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="searchForm"]/div[1]/dl[1]/dd/input')))
element.clear()
element.send_keys(row[6])

##検索ボタンをクリックして、詳細ページに遷移する（新しいブラウザ）
element = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="searchForm"]/div[2]/button[2]'))).click()

##配信ボタンをクリックして、管理状況詳細を表示させる
element = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="main_contents"]/main/div[2]/div[2]/dl/dd/ul/li[2]/a'))).click()


print(df)

試したこと

配信ボタンをクリックのコードのelement=を消して再度実行しましたが、結果変わりませんでした。
同様の問題を検索しましたが、効果的なページがみあたりませんでした。
expathに代わるものも探しましたが、ピンときたものはなかった。

Comments

[melian]

新たに開くタブに移動する必要があるのではないでしょうか。

##検索ボタンをクリックして、詳細ページに遷移する（新しいブラウザ）
element = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="searchForm"]/div[2]/button[2]'))).click()

##詳細ページのタブへ移動
browser.switch_to.window(browser.window_handles[-1])

##配信ボタンをクリックして、管理状況詳細を表示させる
element = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="main_contents"]/main/div[2]/div[2]/dl/dd/ul/li[2]/a'))).click()

[ISPEI]

確認なのですが、自分が書いたコードですと新しく開いたけどただ開いただけで終わったようなイメージでしょうか？

[melian]

はい、その通りです。結局、検索ページ上で wait.until(...(By.XPATH,'//*[@id="main_contents"]/...).click() を実行しているのでタイムアウトしているのだと思います。

[meg_]

Timeoutしているようですがページの読み込みは完了していますか？

[ISPEI]

なるほど。だからその動きだったのですね！すっきりしました。ありがとうございます！！！
もしよろしければベストアンサーに選びたいのですが、回答にも記入の方お願いしても宜しいですか？

[ISPEI]

@meg
読み込みは完了してます。

[melian]

ありがとうございます、回答に記入しました。

Answer 1

※ コメントから転記

新たに開く詳細ページへ移動してから配信ボタンをクリックする様にします。

##検索ボタンをクリックして、詳細ページに遷移する（新しいブラウザ）
element = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="searchForm"]/div[2]/button[2]'))).click()

# 以下のコードを追加
##詳細ページへ移動
browser.switch_to.window(browser.window_handles[-1])

##配信ボタンをクリックして、管理状況詳細を表示させる
element = wait.until(EC.presence_of_element_located((By.XPATH,'//*[@id="main_contents"]/main/div[2]/div[2]/dl/dd/ul/li[2]/a'))).click()