webページにログインして表を取り出したいです．ログインする際のモジュールにエラーが発生します．

Question

前提

webスプレイピングでログインする必要なページに入って表を取得しようと思っています．
そこで，エラーが生じます．
また，google colabで実装しています．

実現したいこと

• ログインする必要のあるwebページにログインする．

発生している問題・エラーメッセージ

<ipython-input-57-0aec536408f0>:25: DeprecationWarning: executable_path has been deprecated, please pass in a Service object
  driver = webdriver.Chrome(executable_path='/content/chromedriver.exe', chrome_options=options)
<ipython-input-57-0aec536408f0>:25: DeprecationWarning: use options instead of chrome_options
  driver = webdriver.Chrome(executable_path='/content/chromedriver.exe', chrome_options=options)
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-57-0aec536408f0> in <module>
     23   # Chromeを起動
     24   #driver = webdriver.chrome.webdriver.WebDriver(executable_path='chromedriver', chrome_options=options)
---> 25   driver = webdriver.Chrome(executable_path='/content/chromedriver.exe', chrome_options=options)
     26 
     27   # ログインページを開く

3 frames
/usr/local/lib/python3.8/dist-packages/selenium/webdriver/common/service.py in assert_process_still_running(self)
    115     def assert_process_still_running(self) -> None:
    116         """Check if the underlying process is still running."""
--> 117         return_code = self.process.poll()
    118         if return_code:
    119             raise WebDriverException(f"Service {self.path} unexpectedly exited. Status code was: {return_code}")

AttributeError: 'Service' object has no attribute 'process'

該当のソースコード

# coding: UTF-8
from time import sleep
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
import service


if __name__ == '__main__':

# URL関連
  url = "https://maonline.jp/db/database"
  login = "***.ac.jp"
  password = "pwd"

  # ヘッドレスモードの設定。
  # True => ブラウザを描写しない。
  # False => ブラウザを描写する。
  options = Options()
  options.add_argument('--headless')

  # Chromeを起動
  #driver = webdriver.chrome.webdriver.WebDriver(executable_path='chromedriver', chrome_options=options)
  driver = webdriver.Chrome(executable_path='/content/chromedriver.exe', chrome_options=options)

  # ログインページを開く
  driver.get(url)
  
"""
  # ログオン処理
  # ユーザー名入力
  driver.find_element_by_id(username).send_keys(login)
  driver.find_element_by_id('btnNext').send_keys(Keys.ENTER)

  # ブラウザの描写が完了させるためにsleep
  sleep(10)

  # パスワード入力
  driver.find_element_by_id(passwd).send_keys(password)
  driver.find_element_by_id(btnSubmit).send_keys(Keys.ENTER)

  # soupオブジェクトを作成
  soup = BeautifulSoup(driver.page_source, lxml)

  # ログイン後のトップページのソースを表示
  print(soup)

  # ドライバーをクローズ
  driver.close()
  driver.quit()

"""

補足情報（FW/ツールのバージョンなど）

webdriver.Chromeでエラーをはいているのですが，原因が分かりません．指定したパスが適切でない可能性も考えました．colab上のファイルにカーソルを合わせて右クリックするとパスをコピーすることができます．そのパスを指定しているので，適切だとは思うのですが、、、
有識者の方，お教えいただければ幸いです．

Comments

[meg_]

下記コマンドを実行したときに chromedriver.exe は表示されますか？
!ls /content/

Answer 1

DeprecationWarning: executable_path has been deprecated, please pass in a Service object

エラーログにあるとおり、現在 executable_path を直接 webdriver.Chrome() の引数に渡すのは非推奨です。

そのため、

AttributeError: 'Service' object has no attribute 'process'

というエラーが送出されていると思われます。

現在、推奨されている方法は、Servie クラスを利用して引数を渡す方法です。

from selenium import webdriver
from selenium.webdriver.chrome.service import Service


url = "https://maonline.jp/db/database"

chrome_options = webdriver.ChromeOptions()

chrome_options.add_argument("--headless")

service = Service(executable_path="/content/chromedriver.exe")
driver = webdriver.Chrome(service=service, options=chrome_options)

driver.get(url)

加えて、options にも非推奨の警告が出ているので、現在推奨されている webdriver.ChromeOptions() クラスを利用しています。

これでも、動かないようであれば恐らく chromedriver.exe のパスが間違っているか存在していないかのどちらかだと思います。