質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

Q&A

1回答

990閲覧

python、ページ遷移時にurlが変わらない

退会済みユーザー

退会済みユーザー

総合スコア0

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

0グッド

1クリップ

投稿2020/02/04 13:07

編集2022/01/12 10:55

前提・実現したいこと

whoscoredのFixtures欄をスクレイピングしたいと考えています。しかしながら、年月のタブをクリックしてもurlが変更されずMay(5月)のみしかスクレイピングできず、困っています。1シーズンすべてを行いたいです…
(https://www.whoscored.com/Regions/252/Tournaments/2/Seasons/7361/Stages/16368/Fixtures/England-Premier-League-2018-2019)

どのようにすればスクレイピングを行えるでしょうか。python初心者です。すいませんが、よろしくお願いします。```

from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import xlrd import xlwt import pprint import pandas as pd import json import sys, io sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8') driver = webdriver.Chrome("/Users/NAME/Desktop/selenium/chromedriver.exe")#Chromeを起動する driver.get('https://www.whoscored.com/Regions/252/Tournaments/2/Seasons/7361/Stages/16368/Fixtures/England-Premier-League-2018-2019') race_urls = [] race_url_list = 0 i = 0 elems_race_url = driver.find_elements_by_css_selector('td.result > a') for elem_race_url in elems_race_url: race_url = elem_race_url.get_attribute('href') race_urls.append(race_url) for race_url_list in race_urls: driver.get(race_url_list) html = driver.page_source # ページのソース取得 print(html) f.close() # ファイルを閉じる driver.close()

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

urlで遷移させるのではなく、前月ボタンをクリックで移動させるというのはどうでしょうか。

python

1driver.find_element_by_xpath('//a[@title="View previous month"]').click()

投稿2020/02/12 15:23

shirai

総合スコア1289

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2020/02/12 16:56

ご回答ありがとうございます。 ご指摘いただいた通り、実行してみたのですが selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//a[@title="View previous month"]"} となり実行ができません。対処法はございますでしょうか?
shirai

2020/02/13 02:26

そしたら一度スクリーンショットを取ってみましょう。 from time import sleep driver.get('https://www.whoscored.com/Regions/252/Tournaments/2/Seasons/7361/Stages/16368/Fixtures/England-Premier-League-2018-2019') sleep(10) driver.save_screenshot('test.png') driver.find_element_by_xpath('//a[@title="View previous month"]').click() これで同じエラーが出ることになると思いますが、 スクリーンショットに想定通りの画面が映っているか確認してみてください。
退会済みユーザー

退会済みユーザー

2020/02/13 14:01

スクリーンショットを試しました。 driver.getで出力した画面がスクリーンショットされたのみでクリックは実行されていません...
shirai

2020/02/13 16:32

driver.find_element_by_id('date-config-toggle-button').click()はどうなりますか?
退会済みユーザー

退会済みユーザー

2020/02/13 17:09

xpath時と同様です...
shirai

2020/02/14 02:08

では、print(driver.page_source)で出力される中に <a class="previous button ui-state-default rc-l is-default" href="#" title="View previous month"><span class="ui-icon ui-icon-triangle-1-w"></span></a> という文字列はありますか?
退会済みユーザー

退会済みユーザー

2020/02/14 04:25

driver.getをそのままprint(driver.page_source)で実行したら <div id="date-controller" class="option-datepicker"> <a class="previous button ui-state-default rc-l is-default" href="#" title="View previous month"><span class="ui-icon ui-icon-triangle-1-w"></span></a> <a id="date-config-toggle-button" class="date button button-icon-right ui-state-default" href="#"><span class="text">May 2019</span><span class="ui-icon ui-icon-triangle-1-s"></span></a> <a class="next button ui-state-default rc-r is-disabled" href="#" title="No data for next month"><span class="ui-icon ui-icon-triangle-1-e"></span></a> という文字列が出力されました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問