Googleマップのスクレイピングについて

Question

実現したいこと

Googleマップでリスト化したものの情報を20件以上取得したい
21件目以降の情報の取得のやり方をご教授いただきたいです。
具体的なサンプルコードなどございましたらありがたいです。

前提

・Pythonを使用してスクレイピングをしています。

・Googleマップでリスト化した施設が20件以上あります。
それをそれを順番にクリックして施設の名称や電話番号などを取得したいです。
現在20件までの取得は出来るのですが、21件目から取得できません。

・AIPはなるべく使用したくないです。

試してみたこと

・ページの読み込みの際にページの最後まで読み込む
・javascriptでページのスクロールを試しましたが、うまくできませんでした。

def google_get_infomtion(url):
    # オプション
    options=Options()
    options.page_load_strategy = 'normal'
    # ドライバーの設定
    driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()),options=options)
    
    
    # ページ解析
    response=requests.get(url)
    response.encoding=response.apparent_encoding
    bs=BeautifulSoup(response.text,"html.parser")
    # ページ遷移
    driver.get(url)
    WebDriverWait(driver,15).until(EC.presence_of_all_elements_located)
    # driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    
    time.sleep(2)   
    # 本文から施設名タグのXPathを取得
    name_list=driver.find_elements(By.CLASS_NAME,value="kiaEld ")
    print(len(name_list))
    name_cnt=1
        
    # 繰り返し処理
    # for cnt in range(len(name_list)):
    for cnt in range(50):
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        # XPath生成
        link_click_xpath='/html/body/div[3]/div[8]/div[9]/div/div/div[1]/div[2]/div/div[1]/div/div/div[6]/div['+str(name_cnt)+']/div[1]/div[2]/div[1]/div[1]/div[1]/div/h3/span'
        # print(link_click_xpath)
        # 施設クリック
        link_click=driver.find_element(By.XPATH,link_click_xpath)
        link_click.click()
        time.sleep(2)
        
        
        # 施設名を取得
        store_name=driver.find_element(By.CLASS_NAME,value='lMbq3e')
        
        store_name=store_name.find_element(By.TAG_NAME,value='h1').text
        print(store_name)
               
        # ブラウザバック
        back_icon_xpath="/html/body/div[3]/div[8]/div[3]/div[1]/div[1]/div/div[1]/button/span"
        back_icon=driver.find_element(By.XPATH,back_icon_xpath)
        back_icon.click()
        time.sleep(2)
        
        name_cnt+=2
    print(len(name_list))
    
    driver.quit()

Comments

[meg_]

> ・AIPはなるべく使用したくないです。
何故ですか？

Answer 1

Pythonを使用してスクレイピングをしています。

やらないでください。Googleマップの利用規約で、明確に禁止しています。

　2. 禁止行為。本規定の第 2 条を遵守することが、Google マップ / Google Earth の使用ライセンス付与の条件となります。Google マップ / Google Earth の使用に際して、お客様（およびお客様の代理人）による以下の行為は禁止されています。
（略）
b. コンテンツをコピーすること（ただし、Google マップ、Google Earth、ストリートビューの使い方と許可に関するガイダンスのページ、または適用される知的財産法で許可されている場合（これには「フェアユース」が含まれます）を除く）。
c. コンテンツを大量にダウンロードすること（後略）

Comments

[violet]

存じ上げませんでした。
教えていただきありがとうございました。