質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%

解決済

スクレイピングでのスクロールの操作

tetsuya7724
tetsuya7724

総合スコア57

2回答

0評価

0クリップ

229閲覧

投稿2022/06/22 05:44

編集2022/06/22 16:05

前提

Google Mapのスクレイピングに挑戦しているのですが、画面のスクロールで詰まっています。
行ってみたいリストの表示画面をスクロールするのを自動化したいです。

seleniumを使っているのですが、XPATH を指定してもスクロールをしてくれません。

下までスクロールをして、子要素をすべて表示して店の名前をすべて取得することが目的です。

指定するXPATHが間違っているのでしょうか?ご教授のほどよろしくお願いします。

赤枠で囲ったところがスクロールしたい部分です。

イメージ説明

該当のソースコード

python

# -*- coding: utf-8 -*- """ Created on Fri Mar 18 14:19:17 2022 指定したブラウザは完全に止めてから起動する @author: Noriyuki Crypto """ import random import sys import time from selenium import webdriver from selenium.webdriver.chrome import service as fs from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys # ドライバーの設定 def driver_settting(): driver_path = "C:\\Users\\008D42\\Documents\\chromedriver.exe" brave_path = "C:\\Program Files\\BraveSoftware\\Brave-Browser\\Application\\brave.exe" size_w = 1000 #ウィンド幅 size_h = 1000 #ウィンド高 options = webdriver.ChromeOptions() options.add_experimental_option("excludeSwitches", ["enable-logging"]) #GettingDefaultAdapterfailedのエラーメッセージをなくす options.add_argument('--user-data-dir=C:\\Users\\008D42\\AppData\\Local\\BraveSoftware\\Brave-Browser\\User Data') options.add_argument('--profile-directory=Default') #プロパティパスの設定 options.add_argument('--lang=jp') options.binary_location = brave_path chrome_service = fs.Service(executable_path=driver_path) brave = webdriver.Chrome(service=chrome_service, options=options) brave.set_window_size(size_w,size_h) return brave # メイン def main(): site = "https://www.google.co.jp/maps/@35.6734257,139.7772929,13z/data=!4m3!11m2!2sNxRKAx0R-fi7YvXPdRXtiDoCXrmo6w!3e2?hl=ja" # ドライバーの設定を決定する driver = driver_settting() brave = driver dispwait = 20 #表示待ち時間(秒) # sleeptime = 2 #表示中時間(秒) sleeptime = random.uniform(1, 5) #サイト表示 brave.get(site) # 表示待機 brave.implicitly_wait(dispwait) # 表示状態 time.sleep(sleeptime) element = brave.find_element(by=By.XPATH, value='/html/body/div[3]/div[9]/div[9]/div/div/div[1]/div[2]/div/div[1]/div/div/div[2]') print(element) element.location_once_scrolled_into_view print("yes") if __name__ == "__main__": main()

試したこと

スクロールしたい範囲のclassが"m6QErb DxyBCb kA9KIf dS8AEf" だったので、下記のものを試しましたが動きませんでした。
driver.execute_script(“window.scrollTo(0, document.getElementByClassName('m6QErb DxyBCb kA9KIf dS8AEf').scrollHeight)“)

補足情報(FW/ツールのバージョンなど)

ここにより詳細な情報を記載してください。

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

Matsumon0104

2022/06/22 07:05

コードを読み込んでいませんでしたが、編集後にgoogle mapsの画像が張られており、一点懸念事項がございます。 Google Mapsは外部からのスクレイピングを禁止しているようです。 https://cloud.google.com/maps-platform/terms?_ga=2.219471129.103809388.1611700969-418788476.1611700969&_gac=1.53442266.1611701016.Cj0KCQiAmL-ABhDFARIsAKywVafwa6UWzmjEUfkB8rEj- Google Mapsの情報を利用したい場合は、専用のAPIがありますので、そちらを利用した方がよいかとおもいます。 https://www.zenrin-datacom.net/solution/gmapsapi?fm_cp=6285a1b77c39d94483a09e03&fm_mu=6285a1e5e4dd402f643a8891&utm_campaign=6285a1b77c39d94483a09e03&utm_medium=cpc&utm_source=google&gclid=CjwKCAjw-8qVBhANEiwAfjXLru6IB5oMUQYtau7GAof625UVR-uH9AcFkTvZecWHIf2kmV1XAiykzxoCM6oQAvD_BwE

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る