質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.59%

Google map スクレイプ with selenium 結果一覧に戻ったあと別の店舗の詳細に飛べない

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 715

Zawakita

score 6

前提・実現したいこと

Seleniumの勉強がてら、Google mapで「ラーメン屋」と検索した結果のスクレイプに挑戦しています。

発生している問題・エラーメッセージ

検索結果一覧から最初の店の詳細まで飛べたのですが、「結果一覧に戻る」ボタンのクリック後、2つ目の店の詳細に飛べません。

Traceback (most recent call last):
  File "C:/Users/local/PycharmProjects/Python_programming/google map.py", line 49, in <module>
    login_button.click()
  File "C:\Users\local\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webelement.py", line 80, in click
    self._execute(Command.CLICK_ELEMENT)
  File "C:\Users\local\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webelement.py", line 633, in _execute
    return self._parent.execute(command, params)
  File "C:\Users\local\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "C:\Users\local\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document
  (Session info: headless chrome=79.0.3945.117)

該当のソースコード

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
import time
import lxml

op = Options()
op.add_argument("--disable-gpu");
op.add_argument("--disable-extensions");
op.add_argument("--proxy-server='direct://'");
op.add_argument("--proxy-bypass-list=*");
op.add_argument("--start-maximized");
op.add_argument("--headless");
driver = webdriver.Chrome(options=op)

keys = ("ラーメン屋")
url = 'https://www.google.co.jp/maps/'
Selector = 'body'

driver.get(url)

WebDriverWait(driver, 30).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, Selector))
)

id = driver.find_element_by_id("searchboxinput")
id.send_keys(keys)
time.sleep(2)


Selector = "//*[@id='searchbox-searchbutton']"

search_button = driver.find_element_by_xpath(Selector)
search_button.click()

Selector_login = 'section-result'
WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.CLASS_NAME, Selector_login))
    )
time.sleep(1)

login_buttons = driver.find_elements_by_class_name(Selector_login)

for login_button in login_buttons:
    time.sleep(3)
    login_button.click()

    Selector = '//*[@id="pane"]/div/div[1]/div/div/div[2]/div[1]/div[1]/h1'
    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.XPATH, Selector))
    )

    page_source = driver.page_source
    soup = BeautifulSoup(page_source, 'lxml')

    title = soup.find("h1", {"class":"GLOBAL__gm2-headline-5 section-hero-header-title-title"}).text.strip()
    links = soup.find_all(class_="section-info-text")

    print(title, '\n')
    for link in links:
        print(link.text.strip())
    print('---------------------', '\n')

    Selector_back = '//*[@id="pane"]/div/div[1]/div/div/button'
    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.XPATH, Selector_back))
    )
    back_button = driver.find_element_by_xpath(Selector_back)
    back_button.click()

    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.CLASS_NAME, Selector_login))
    )

試したこと

element is not attached to the page document

とのことなので、

WebDriverWaitで検索結果一覧画面が再表示されるまで待っているのですがうまくいきません。

  • Google MapのAPIを試しましたが、Google Mapでの検索結果すべてを得られるものではなかったので却下しました。

補足情報(FW/ツールのバージョンなど)

Python 3.7

解決しました!

shiraiさんに教えていただいた方法を試したところ、問題なく動きました。
本当にありがとうございました。

修正したコードは以下の通りです。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
import time
import lxml

op = Options()
op.add_argument("--disable-gpu");
op.add_argument("--disable-extensions");
op.add_argument("--proxy-server='direct://'");
op.add_argument("--proxy-bypass-list=*");
op.add_argument("--start-maximized");
# op.add_argument("--headless");
driver = webdriver.Chrome(options=op)

keys = ("ラーメン屋")
url = 'https://www.google.co.jp/maps/'
Selector = 'body'

driver.get(url)

WebDriverWait(driver, 30).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, Selector))
)

id = driver.find_element_by_id("searchboxinput")
id.send_keys(keys)
time.sleep(2)


Selector = "//*[@id='searchbox-searchbutton']"

search_button = driver.find_element_by_xpath(Selector)
search_button.click()

Selector_login = 'section-result'
WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.CLASS_NAME, Selector_login))
    )
time.sleep(1)

for i in range(len(driver.find_elements_by_class_name(Selector_login))):
    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.CLASS_NAME, Selector_login))
    )
    login_button = driver.find_elements_by_class_name(Selector_login)[i]
    login_button.click()

    Selector = '//*[@id="pane"]/div/div[1]/div/div/div[2]/div[1]/div[1]/h1'
    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.XPATH, Selector))
    )

    page_source = driver.page_source
    soup = BeautifulSoup(page_source, 'lxml')

    title = soup.find("h1", {"class":"GLOBAL__gm2-headline-5 section-hero-header-title-title"}).text.strip()
    links = soup.find_all(class_="section-info-text")

    print(title, '\n')
    for link in links:
        print(link.text.strip())
    print('---------------------', '\n')

    Selector_back = '//*[@id="pane"]/div/div[1]/div/div/button'
    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.XPATH, Selector_back))
    )
    back_button = driver.find_element_by_xpath(Selector_back)
    back_button.click()

    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.CLASS_NAME, Selector_login))
    )
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

StaleElementReferenceExceptionが起こる状況は例えば以下のような状況です。

for hogehoge in driver.find_elements_by_tag_name('input'):
    hogehoge.click()

for文を宣言した時点でdriver.find_elements_by_tag_name('input')を取得していますが、
for文を回している最中にクリックをしたことによりDOMが変化してしまい、
for文の次の要素を取得しようとした時に、
「さっきまで確かにその要素はあったけど、今はそんな要素は現実のDOMにはないよ」
ということでエラーになります。

SeleniumはちょっとDOMが変化しただけでも
StaleElementReferenceExceptionが起こるものだと思ってください。
ページ遷移なんてもってのほかです。

どうすればいいか

for i in range(len(driver.find_elements_by_tag_name('input'))):
    hogehoge = driver.find_elements_by_tag_name('input')[i]
    hogehoge.click()

これでfor文の宣言時には数値が読み込まれるだけなので、
StaleElementReferenceExceptionは起こりません。

以上を参考にプログラムを書き直してみてください。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/01/17 00:13

    ご回答ありがとうございました。
    おっしゃるとおりにコードを修正したところ、スムーズに動きました。
    DOMという言葉も初めて知りました。

    読みづらいぐちゃぐちゃのコードで申し訳なかったと反省しています。
    どうもありがとうございました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.59%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る