Google map スクレイプ with selenium 結果一覧に戻ったあと別の店舗の詳細に飛べない

Question

前提・実現したいこと

Seleniumの勉強がてら、Google mapで「ラーメン屋」と検索した結果のスクレイプに挑戦しています。

発生している問題・エラーメッセージ

検索結果一覧から最初の店の詳細まで飛べたのですが、「結果一覧に戻る」ボタンのクリック後、2つ目の店の詳細に飛べません。

Traceback (most recent call last):
  File "C:/Users/local/PycharmProjects/Python_programming/google map.py", line 49, in <module>
    login_button.click()
  File "C:\Users\local\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webelement.py", line 80, in click
    self._execute(Command.CLICK_ELEMENT)
  File "C:\Users\local\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webelement.py", line 633, in _execute
    return self._parent.execute(command, params)
  File "C:\Users\local\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "C:\Users\local\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document
  (Session info: headless chrome=79.0.3945.117)

該当のソースコード

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
import time
import lxml

op = Options()
op.add_argument("--disable-gpu");
op.add_argument("--disable-extensions");
op.add_argument("--proxy-server='direct://'");
op.add_argument("--proxy-bypass-list=*");
op.add_argument("--start-maximized");
op.add_argument("--headless");
driver = webdriver.Chrome(options=op)

keys = ("ラーメン屋")
url = 'https://www.google.co.jp/maps/'
Selector = 'body'

driver.get(url)

WebDriverWait(driver, 30).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, Selector))
)

id = driver.find_element_by_id("searchboxinput")
id.send_keys(keys)
time.sleep(2)


Selector = "//*[@id='searchbox-searchbutton']"

search_button = driver.find_element_by_xpath(Selector)
search_button.click()

Selector_login = 'section-result'
WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.CLASS_NAME, Selector_login))
    )
time.sleep(1)

login_buttons = driver.find_elements_by_class_name(Selector_login)

for login_button in login_buttons:
    time.sleep(3)
    login_button.click()

    Selector = '//*[@id="pane"]/div/div[1]/div/div/div[2]/div[1]/div[1]/h1'
    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.XPATH, Selector))
    )

    page_source = driver.page_source
    soup = BeautifulSoup(page_source, 'lxml')

    title = soup.find("h1", {"class":"GLOBAL__gm2-headline-5 section-hero-header-title-title"}).text.strip()
    links = soup.find_all(class_="section-info-text")

    print(title, '\n')
    for link in links:
        print(link.text.strip())
    print('---------------------', '\n')

    Selector_back = '//*[@id="pane"]/div/div[1]/div/div/button'
    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.XPATH, Selector_back))
    )
    back_button = driver.find_element_by_xpath(Selector_back)
    back_button.click()

    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.CLASS_NAME, Selector_login))
    )

試したこと

element is not attached to the page document

とのことなので、

WebDriverWaitで検索結果一覧画面が再表示されるまで待っているのですがうまくいきません。

• Google MapのAPIを試しましたが、Google Mapでの検索結果すべてを得られるものではなかったので却下しました。

補足情報（FW/ツールのバージョンなど）

Python 3.7

解決しました！

shiraiさんに教えていただいた方法を試したところ、問題なく動きました。
本当にありがとうございました。

修正したコードは以下の通りです。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
import time
import lxml

op = Options()
op.add_argument("--disable-gpu");
op.add_argument("--disable-extensions");
op.add_argument("--proxy-server='direct://'");
op.add_argument("--proxy-bypass-list=*");
op.add_argument("--start-maximized");
# op.add_argument("--headless");
driver = webdriver.Chrome(options=op)

keys = ("ラーメン屋")
url = 'https://www.google.co.jp/maps/'
Selector = 'body'

driver.get(url)

WebDriverWait(driver, 30).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, Selector))
)

id = driver.find_element_by_id("searchboxinput")
id.send_keys(keys)
time.sleep(2)


Selector = "//*[@id='searchbox-searchbutton']"

search_button = driver.find_element_by_xpath(Selector)
search_button.click()

Selector_login = 'section-result'
WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.CLASS_NAME, Selector_login))
    )
time.sleep(1)

for i in range(len(driver.find_elements_by_class_name(Selector_login))):
    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.CLASS_NAME, Selector_login))
    )
    login_button = driver.find_elements_by_class_name(Selector_login)[i]
    login_button.click()

    Selector = '//*[@id="pane"]/div/div[1]/div/div/div[2]/div[1]/div[1]/h1'
    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.XPATH, Selector))
    )

    page_source = driver.page_source
    soup = BeautifulSoup(page_source, 'lxml')

    title = soup.find("h1", {"class":"GLOBAL__gm2-headline-5 section-hero-header-title-title"}).text.strip()
    links = soup.find_all(class_="section-info-text")

    print(title, '\n')
    for link in links:
        print(link.text.strip())
    print('---------------------', '\n')

    Selector_back = '//*[@id="pane"]/div/div[1]/div/div/button'
    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.XPATH, Selector_back))
    )
    back_button = driver.find_element_by_xpath(Selector_back)
    back_button.click()

    WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.CLASS_NAME, Selector_login))
    )

Answer 1

StaleElementReferenceExceptionが起こる状況は例えば以下のような状況です。

for hogehoge in driver.find_elements_by_tag_name('input'):
    hogehoge.click()

for文を宣言した時点でdriver.find_elements_by_tag_name('input')を取得していますが、
for文を回している最中にクリックをしたことによりDOMが変化してしまい、
for文の次の要素を取得しようとした時に、
「さっきまで確かにその要素はあったけど、今はそんな要素は現実のDOMにはないよ」
ということでエラーになります。

SeleniumはちょっとDOMが変化しただけでも
StaleElementReferenceExceptionが起こるものだと思ってください。
ページ遷移なんてもってのほかです。

どうすればいいか

for i in range(len(driver.find_elements_by_tag_name('input'))):
    hogehoge = driver.find_elements_by_tag_name('input')[i]
    hogehoge.click()

これでfor文の宣言時には数値が読み込まれるだけなので、
StaleElementReferenceExceptionは起こりません。

以上を参考にプログラムを書き直してみてください。

Comments

[Zawakita]

ご回答ありがとうございました。
おっしゃるとおりにコードを修正したところ、スムーズに動きました。
DOMという言葉も初めて知りました。

読みづらいぐちゃぐちゃのコードで申し訳なかったと反省しています。
どうもありがとうございました。