Selenium スクレイピングで要素が探せない・クリックが行えない。（Python)

Question

##実現したいこと

スクレイピングで下の方に表示されている「次へ」ボタンをクリックするためにmove_to_elementを使用し
1ページだけ遷移してアドレスを取得しようとしています。

def main():

    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options

    from selenium.webdriver.support import expected_conditions as EC
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.common.action_chains import ActionChains
    

    options = Options()
    options.add_argument('--headless')
    browser = webdriver.Chrome(executable_path='/Users/User/Desktop/Tool/chromedriver', chrome_options=options)

    browser.implicitly_wait(5)
    url_login = "https://teratail.com/"
    browser.get(url_login)

    # 次へ移動
    element= browser.find_element_by_xpath("//*[@id=\"mainContainer\"]/div[10]/div/p/a")
    actions = ActionChains(browser)
    actions.move_to_element(element)
    actions.perform()
    
    element = WebDriverWait(browser,10).until(EC.invisibility_of_element_located((By.XPATH, "//*[@id=\"mainContainer\"]/div[10]/div/p/a")))

    browser.execute_script('arguments[0].click();', element)

    print(browser.current_url)
        
    browser.quit()

if __name__ == "__main__":
    main()

##エラー
以下が表示されて遷移が行われません。
そもそも画面が動けていないようなのですが、（headlessを外して確認しました）
他に方法ありますでしょうか。

NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//*[@id="mainContainer"]/div[10]/div/p/a"}

##試したこと
試しに要素を変更してタブの//*[@id=\"tab\"]/li[6]/p/spanを指定すると、
画面は動くのですが、遷移はせずにスクリプトが終わり
TimeoutExceptionになってしまいます。Timeout時間を６０に伸ばしても同じです。

ご意見いただけると幸いです。

Comments

[t_obara]

teratailであれば、apiを利用する方が適切な解決方法かと思います。
ちなみに、指定した要素がinvisibility_of_element_locatedと
なるまで待つのがおかしいと思いますよ。

[stweoigh]

コメントありがとうございます。
すいません。invisiblityじゃなかったですね。
ただ「visibility_of_element_located」に変更しても遷移がされないです・・。

[t_obara]

遷移するか否かは別です。単純にクリックやjavascriptを利用していないようですし、ソースをよく見るしかないです。

Answer 1

こんな感じでは？

def main():

    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options

    from selenium.webdriver.support import expected_conditions as EC
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.common.action_chains import ActionChains
    
    from time import sleep 

    options = Options()
    options.add_argument('--headless')
    browser = webdriver.Chrome(executable_path='/Users/User/Desktop/Tool/chromedriver', chrome_options=options)
    
   
    url_login = "https://teratail.com/"
    browser.get(url_login)
    
    
    element = browser.find_element_by_xpath("//span[contains(text(), '次のページ')]")
    element = element.find_element_by_xpath("..")
 

    browser.execute_script("arguments[0].click();", element)
    
    sleep (1)
        
    print(browser.current_url)

    browser.close()
    browser.quit()

if __name__ == "__main__":
    main()

Comments

[stweoigh]

ありがとうございます。
親要素を「..」で取得できるんですね。
https://webbibouroku.com/Blog/Article/xpath
勉強になります。

Answer 2

試してないですが、多分こうじゃないですかね？？

actions.move_to_element(element)
actions.click(element)
actions.perform()

Comments

[stweoigh]

ご回答ありがとうございます。
「質問への追記・修正、ベストアンサー選択の依頼」のコメントと合わせて修正しましたが遷移しないですね・・。
エラーは消えましたがトップページのままでタブをクリックした時に遷移する
URLではなく「https://teratail.com/」のままです・・。