PythonでBeautifulSOUP, seliniumを使って画像取得しようとした際にエラーが発生

Question

実現したいこと

BeautifulSOUP, selinium を使って該当画像のURLへ遷移したい。

前提

Pythonでwebサイトの画像をブラウザ表示する。コードを書きたいです。
Jupyter notebooksを使っています。

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
JavascriptException                       Traceback (most recent call last)
Input In [14], in <cell line: 1>()
----> 1 driver.execute_script(s)
      2 element=driver.find_element_by_id("refererurllink")
      3 element.click()

File ~\anaconda3\envs\PYTHON\lib\site-packages\selenium\webdriver\remote\webdriver.py:634, in WebDriver.execute_script(self, script, *args)
    631 else:
    632     command = Command.EXECUTE_SCRIPT
--> 634 return self.execute(command, {
    635     'script': script,
    636     'args': converted_args})['value']

File ~\anaconda3\envs\PYTHON\lib\site-packages\selenium\webdriver\remote\webdriver.py:321, in WebDriver.execute(self, driver_command, params)
    319 response = self.command_executor.execute(driver_command, params)
    320 if response:
--> 321     self.error_handler.check_response(response)
    322     response['value'] = self._unwrap_value(
    323         response.get('value', None))
    324     return response

File ~\anaconda3\envs\PYTHON\lib\site-packages\selenium\webdriver\remote\errorhandler.py:242, in ErrorHandler.check_response(self, response)
    240         alert_text = value['alert'].get('text')
    241     raise exception_class(message, screen, stacktrace, alert_text)
--> 242 raise exception_class(message, screen, stacktrace)

JavascriptException: Message: javascript error: Cannot set properties of null (setting 'innerHTML')
  (Session info: headless chrome=113.0.5672.127)

---------------------------------------------------------------------------
ElementNotInteractableException           Traceback (most recent call last)
Input In [11], in <cell line: 12>()
     10 element=driver.find_element_by_id("refererurllink")
     11 driver.implicitly_wait(20) 
---> 12 element.click()
     13 result = requests.get(atags.source["srcset"],headers={"User-Agent": UA,"referer": url})

File ~\anaconda3\envs\PYTHON\lib\site-packages\selenium\webdriver\remote\webelement.py:80, in WebElement.click(self)
     78 def click(self):
     79     """Clicks the element."""
---> 80     self._execute(Command.CLICK_ELEMENT)

File ~\anaconda3\envs\PYTHON\lib\site-packages\selenium\webdriver\remote\webelement.py:633, in WebElement._execute(self, command, params)
    631     params = {}
    632 params['id'] = self._id
--> 633 return self._parent.execute(command, params)

File ~\anaconda3\envs\PYTHON\lib\site-packages\selenium\webdriver\remote\webdriver.py:321, in WebDriver.execute(self, driver_command, params)
    319 response = self.command_executor.execute(driver_command, params)
    320 if response:
--> 321     self.error_handler.check_response(response)
    322     response['value'] = self._unwrap_value(
    323         response.get('value', None))
    324     return response

File ~\anaconda3\envs\PYTHON\lib\site-packages\selenium\webdriver\remote\errorhandler.py:242, in ErrorHandler.check_response(self, response)
    240         alert_text = value['alert'].get('text')
    241     raise exception_class(message, screen, stacktrace, alert_text)
--> 242 raise exception_class(message, screen, stacktrace)

ElementNotInteractableException: Message: element not interactable
  (Session info: chrome=114.0.5735.90)

該当のソースコード

import requests
from bs4 import BeautifulSoup
from time import sleep
from selenium import webdriver

"""
UI仕様準備
"""
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--lang=ja')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--incognito') 
UA= "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36"
options.add_argument('--user-agent=' + UA)
driver = webdriver.Chrome('chromedriver.exe',options=options)
driver.implicitly_wait(10)


url = "https://store.shopping.yahoo.co.jp/kodawarishokuhonpo/0025-15.html?sc_i=shp_pc_top_reco1"
driver.get(url)
html = driver.page_source.encode("utf-8")
soup=BeautifulSoup(html, "html.parser")
driver.set_window_size('1200', '1000')
driver.implicitly_wait(10)
atags=soup.find_all("img")
image=atags[0].get("src")


s = "var refererselector=document.getElementById('tab');refererselector.innerHTML=\"<a id='refererurllink' href='"+image+"' >吹っ飛べ！</a>\""
print(s)

driver.execute_script(s)
element=driver.find_element_by_id("refererurllink")
element.click()
result = requests.get(image,headers={"User-Agent": UA,"referer": url})

試したこと

print(s)の内容
var refererselector=document.getElementById('tab');refererselector.innerHTML="<a id='refererurllink' href='https://s.yimg.jp/c/logo/f/2.0/shopping_r_34_2x.png' >吹っ飛べ！</a>"
をコピペして該当サイトのコンソールに張り付けたところ正常に動作しました。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

refererselectorがnullということなので、document.getElementById('tab')が見つからなかったということです。

コピペして該当サイトのコンソールに張り付けたところ正常に動作しました。

と言うことであれば、
・見ているページが違う
・タイミングの問題
のどちらかです。

ヘッドレスを止めて画面を表示し、driver.execute_script(s)の直前にinput("継続?")とか入れて、そこでプログラムを一旦止めて、そのブラウザ画面でdocument.getElementById('tab')を実行してみましょう。

Comments

[ethanoch]

ご回答ありがとうございます。
・見ているページが違う
・タイミングの問題
両方が原因だったようです、不安定ですが上のエラーは解決しました。
しかし、「発生している問題・エラーメッセージ」の下のほうのエラーが出てしまいました。sleep等使ってみたのですが解決はしませんでした。このエラーはどのようにすればよいでしょうか？

[otn]

element not interactable
なので、クリックできない状態だと言うことです。
・表示されていない
・disableになっている
・上に何か別の要素がかぶっている
など。最初の2つは is_displayed() と is_enabled() でわかりますが、
該当したらどうしたら良いかは、はHTMLとCSSを読み解く力が必要です。

[ethanoch]

ありがとうございます。おそらく画面サイズが小さく、該当箇所がクリックできないレイアウトになったのが原因と思われます。
画面を大きくしたらエラーは消えました。
ありがとうございました。