スクレイピングでのスクロールの操作

Question

前提

Google Mapのスクレイピングに挑戦しているのですが、画面のスクロールで詰まっています。
行ってみたいリストの表示画面をスクロールするのを自動化したいです。

seleniumを使っているのですが、XPATH を指定してもスクロールをしてくれません。

下までスクロールをして、子要素をすべて表示して店の名前をすべて取得することが目的です。

指定するXPATHが間違っているのでしょうか？ご教授のほどよろしくお願いします。

赤枠で囲ったところがスクロールしたい部分です。

該当のソースコード

# -*- coding: utf-8 -*-
"""
Created on Fri Mar 18 14:19:17 2022
指定したブラウザは完全に止めてから起動する
@author: Noriyuki Crypto
"""

import random
import sys
import time

from selenium import webdriver
from selenium.webdriver.chrome import service as fs
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

# ドライバーの設定
def driver_settting():
    driver_path = "C:\\Users\\008D42\\Documents\\chromedriver.exe"
    brave_path = "C:\\Program Files\\BraveSoftware\\Brave-Browser\\Application\\brave.exe"

    size_w = 1000 #ウィンド幅
    size_h = 1000 #ウィンド高

    options = webdriver.ChromeOptions()
    options.add_experimental_option("excludeSwitches", ["enable-logging"]) #GettingDefaultAdapterfailedのエラーメッセージをなくす
    options.add_argument('--user-data-dir=C:\\Users\\008D42\\AppData\\Local\\BraveSoftware\\Brave-Browser\\User Data')
    options.add_argument('--profile-directory=Default') #プロパティパスの設定
    options.add_argument('--lang=jp')

    options.binary_location = brave_path
    chrome_service = fs.Service(executable_path=driver_path)
    brave = webdriver.Chrome(service=chrome_service, options=options)
    brave.set_window_size(size_w,size_h)

    return brave

# メイン
def main():
    site = "https://www.google.co.jp/maps/@35.6734257,139.7772929,13z/data=!4m3!11m2!2sNxRKAx0R-fi7YvXPdRXtiDoCXrmo6w!3e2?hl=ja"

    # ドライバーの設定を決定する
    driver = driver_settting()
    brave = driver

    dispwait = 20 #表示待ち時間（秒）
    # sleeptime = 2 #表示中時間（秒）
    sleeptime = random.uniform(1, 5)

    #サイト表示
    brave.get(site)

    # 表示待機
    brave.implicitly_wait(dispwait)
    # 表示状態
    time.sleep(sleeptime)

    element = brave.find_element(by=By.XPATH, value='/html/body/div[3]/div[9]/div[9]/div/div/div[1]/div[2]/div/div[1]/div/div/div[2]')
    print(element)

    element.location_once_scrolled_into_view

    print("yes")

if __name__ == "__main__":
    main()

試したこと

スクロールしたい範囲のclassが"m6QErb DxyBCb kA9KIf dS8AEf" だったので、下記のものを試しましたが動きませんでした。
driver.execute_script(“window.scrollTo(0, document.getElementByClassName('m6QErb DxyBCb kA9KIf dS8AEf').scrollHeight)“)

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[Matsumon0104]

コードを読み込んでいませんでしたが、編集後にgoogle mapsの画像が張られており、一点懸念事項がございます。

Google Mapsは外部からのスクレイピングを禁止しているようです。

https://cloud.google.com/maps-platform/terms?_ga=2.219471129.103809388.1611700969-418788476.1611700969&_gac=1.53442266.1611701016.Cj0KCQiAmL-ABhDFARIsAKywVafwa6UWzmjEUfkB8rEj-

Google Mapsの情報を利用したい場合は、専用のAPIがありますので、そちらを利用した方がよいかとおもいます。

https://www.zenrin-datacom.net/solution/gmapsapi?fm_cp=6285a1b77c39d94483a09e03&fm_mu=6285a1e5e4dd402f643a8891&utm_campaign=6285a1b77c39d94483a09e03&utm_medium=cpc&utm_source=google&gclid=CjwKCAjw-8qVBhANEiwAfjXLru6IB5oMUQYtau7GAof625UVR-uH9AcFkTvZecWHIf2kmV1XAiykzxoCM6oQAvD_BwE

Answer 1

for i in range(0, 10):
    driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", element)
    time.sleep(1)

上記のように書くことでできました。
ヒントありがとうございます。

Answer 2

driverでjavascriptでスクロール処理を実行してください。

driver.execute_script(“ここに実行したいスクリプトを入力“)

実際にスクロール処理のサンプルがある参考ページ
seleniumで用意されているexecute_scriptの用途