python、ページ遷移時にurlが変わらない

Question

前提・実現したいこと

whoscoredのFixtures欄をスクレイピングしたいと考えています。しかしながら、年月のタブをクリックしてもurlが変更されずMay(5月)のみしかスクレイピングできず、困っています。1シーズンすべてを行いたいです…
(https://www.whoscored.com/Regions/252/Tournaments/2/Seasons/7361/Stages/16368/Fixtures/England-Premier-League-2018-2019)

どのようにすればスクレイピングを行えるでしょうか。python初心者です。すいませんが、よろしくお願いします。```

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import xlrd
import xlwt
import pprint
import pandas as pd
import json
import sys, io

sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
driver = webdriver.Chrome("/Users/NAME/Desktop/selenium/chromedriver.exe")#Chromeを起動する

driver.get('https://www.whoscored.com/Regions/252/Tournaments/2/Seasons/7361/Stages/16368/Fixtures/England-Premier-League-2018-2019')

race_urls = []
race_url_list = 0
i = 0
elems_race_url = driver.find_elements_by_css_selector('td.result > a')
for elem_race_url in elems_race_url:
    race_url = elem_race_url.get_attribute('href')
    race_urls.append(race_url)
for race_url_list in race_urls:
    driver.get(race_url_list)
    html = driver.page_source  # ページのソース取得
    print(html)
    f.close()  # ファイルを閉じる
driver.close()

Answer 1

urlで遷移させるのではなく、前月ボタンをクリックで移動させるというのはどうでしょうか。

driver.find_element_by_xpath('//a[@title="View previous month"]').click()

Comments

[退会済みユーザー]

ご回答ありがとうございます。
ご指摘いただいた通り、実行してみたのですが
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//a[@title="View previous month"]"}
となり実行ができません。対処法はございますでしょうか？

[shirai]

そしたら一度スクリーンショットを取ってみましょう。

from time import sleep

driver.get('https://www.whoscored.com/Regions/252/Tournaments/2/Seasons/7361/Stages/16368/Fixtures/England-Premier-League-2018-2019')
sleep(10)
driver.save_screenshot('test.png')
driver.find_element_by_xpath('//a[@title="View previous month"]').click()

これで同じエラーが出ることになると思いますが、
スクリーンショットに想定通りの画面が映っているか確認してみてください。

[退会済みユーザー]

スクリーンショットを試しました。
driver.getで出力した画面がスクリーンショットされたのみでクリックは実行されていません．．．

[shirai]

driver.find_element_by_id('date-config-toggle-button').click()はどうなりますか？

[退会済みユーザー]

xpath時と同様です．．．

[shirai]

では、print(driver.page_source)で出力される中に
<a class="previous button ui-state-default rc-l is-default" href="#" title="View previous month"><span class="ui-icon ui-icon-triangle-1-w"></span></a>
という文字列はありますか？

[退会済みユーザー]

driver.getをそのままprint(driver.page_source)で実行したら
<div id="date-controller" class="option-datepicker">
<a class="previous button ui-state-default rc-l is-default" href="#" title="View previous month"><span class="ui-icon ui-icon-triangle-1-w"></span></a>
<a id="date-config-toggle-button" class="date button button-icon-right ui-state-default" href="#"><span class="text">May 2019</span><span class="ui-icon ui-icon-triangle-1-s"></span></a>
<a class="next button ui-state-default rc-r is-disabled" href="#" title="No data for next month"><span class="ui-icon ui-icon-triangle-1-e"></span></a>
という文字列が出力されました。