Seleniumをheadlessモードなしで実行したときに「～exited abnormally.」と表示され動作しない

Question

前提・実現したいこと

ChromeDriverをChromeDriverManagerで自動でダウンロードし、seleniumをブラウザを開いたまま実行したいのですが、headlessモードでは問題なく実行でき、headless otptionをはずすとエラーとなります。
この原因についてご教示をお願いいたします。

なお、headlessモードにしたい理由としては以下コードでseleniumのブラウザを最後開いたままにしたいためです。

os.kill(driver.service.process.pid,signal.SIGTERM)

発生している問題・エラーメッセージ

[WDM] - Current google-chrome version is 87.0.4280
[WDM] - Driver [/root/.wdm/drivers/chromedriver/linux64/87.0.4280.20/chromedriver] found in cache
…
  File "/mnt/c/workspace/src/main.py", line 58, in main
    driver = webdriver.Chrome(executable_path=ChromeDriverManager(response.text).install(), options=options)
  File "/usr/local/lib/python3.6/dist-packages/selenium/webdriver/chrome/webdriver.py", line 81, in __init__
    desired_capabilities=desired_capabilities)
  File "/usr/local/lib/python3.6/dist-packages/selenium/webdriver/remote/webdriver.py", line 157, in __init__
    self.start_session(capabilities, browser_profile)
  File "/usr/local/lib/python3.6/dist-packages/selenium/webdriver/remote/webdriver.py", line 252, in start_session
    response = self.execute(Command.NEW_SESSION, parameters)
  File "/usr/local/lib/python3.6/dist-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "/usr/local/lib/python3.6/dist-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally.
  (unknown error: DevToolsActivePort file doesn't exist)
  (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)

該当のソースコード

import requests
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from webdriver_manager.utils import chrome_version

def main():
        options = webdriver.ChromeOptions()
        options.add_argument('--disable-dev-shm-usage') 
        options.add_argument('start-maximized')
        options.add_argument('disable-infobars') 
        options.add_argument('--disable-extensions') 
        options.add_argument('--disable-gpu')  
        options.add_argument('--no-sandbox') 
        # options.add_argument('--headless') 

        version = chrome_version()
        url = 'http://chromedriver.storage.googleapis.com/LATEST_RELEASE_' + version

        response = requests.get(url)  
        driver = webdriver.Chrome(executable_path=ChromeDriverManager(response.text).install(), options=options)
        driver.get('https://google.com')

試したこと

・optionの--headless　つけ外し
・optionを一通り設定

補足情報（FW/ツールのバージョンなど）

• Ubuntu 18.04 LTS
• Python 3.6.9
• Chromeブラウザ　87.0.4280.66
• ChromeDriver(ChromeDriverManagerで自動ダウンロード)　87.0.4280.20

Comments

[t_obara]

すでに最初の質問は解決しているのであれば、こちらを閉じて、その上で、再度助言に従い構成をきちんと提示した上で質問を別途投げてみてはいかがでしょうか。

Answer 1

ChromeDriverをChromeDriverManagerで自動でダウンロードし、seleniumをブラウザを開いたまま実行したいのですが、headlessモードでは問題なく実行でき、headless otptionをはずすとエラーとなります。

この原因についてご教示をお願いいたします。

結局当初から記載している上記については何も解決していないのですが、閉じたいと思います。

Answer 2

Dev-Toolsとのやりとりに以下のポートが必要です。オプションに追加してみてください。
（エラーに(unknown error: DevToolsActivePort file doesn't exist)って出てるので、これが原因かと）

options.add_argument("--remote-debugging-port=9222") 

Comments

[sg_mm]

Takeshi_Ueda様

ありがとうございます、DevToolsActivePortについては解消いたしました。
chromeに到達できないエラーが変わりに出てきました。
引き続き、アドバイスいただけますと幸いです。

```
[WDM] - Current google-chrome version is 87.0.4280
[WDM] - There is no [linux64] chromedriver for browser 87.0.4280 in cache
[WDM] - Trying to download new driver from http://chromedriver.storage.googleapis.com/87.0.4280.88/chromedriver_linux64.zip
[WDM] - Driver has been saved in cache [/root/.wdm/drivers/chromedriver/linux64/87.0.4280.88]
…
File "/mnt/c/workspace/src/main.py", line 59, in access_and_input
driver = webdriver.Chrome(executable_path=ChromeDriverManager(response.text).install(), options=options)
File "/usr/local/lib/python3.6/dist-packages/selenium/webdriver/chrome/webdriver.py", line 81, in __init__
desired_capabilities=desired_capabilities)
File "/usr/local/lib/python3.6/dist-packages/selenium/webdriver/remote/webdriver.py", line 157, in __init__
self.start_session(capabilities, browser_profile)
File "/usr/local/lib/python3.6/dist-packages/selenium/webdriver/remote/webdriver.py", line 252, in start_session
response = self.execute(Command.NEW_SESSION, parameters)
File "/usr/local/lib/python3.6/dist-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
self.error_handler.check_response(response)
File "/usr/local/lib/python3.6/dist-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally.
(chrome not reachable)
(The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)
```

[Takeshi_Ueda]

最初の問題が解決したのなら、そこで解決済みにしてほしかったです。。
上記エラーに関しては、chromedriverが古い可能性とchromeとchromedriverのプロセスだらけになっているからだと推測します。
以下、参考までに。
https://qiita.com/tatetate55/items/e35e268bdf5ee0518324

ubuntu上でyum updateの実行と
killall chrome
killall chromedriver
コマンドを実行してみてください。

[sg_mm]

>headlessモードでは問題なく実行でき、headless otptionをはずすとエラーとなります。
当初記載していた上記が解決していないため続けさせていただきました。ご理解いただけますと幸いです。

いただいた修正内容ではchrome起動が失敗しているため、以下のように稼働しているプロセスが見つけられませんでした。

root@XXX:~# ps aux | grep chrome
root 66 0.0 0.0 14856 1084 pts/0 S+ 20:00 0:00 grep --color=auto chrome
root@XXX:~# killall chrome
chrome: no process found
root@XXX:~# killall chromedriver
chromedriver: no process found

[Takeshi_Ueda]

https://wisdomtrees.net/?p=879

[Takeshi_Ueda]

chromeが古いせいもあるので
ubuntu上でsudo apt updateするなりしてchromeを最新化してみてください。

[sg_mm]

ありがとうございます、回答が遅くなり申し訳ございません。
上記２つ実施しましたが、解消できませんでした。

自分なりに考えてみましたが、windows10のubuntuで稼働しているのにも関わらず、ChromeDriverManagerがlinux64を落としてきているからではないかと推測しています。（--headlessで動くのは依然謎ですが…）
そちらで今引き続き対応探っています。

>[WDM] - Driver [/root/.wdm/drivers/chromedriver/linux64/87.0.4280.20/chromedriver] found in cache

[Takeshi_Ueda]

chromeブラウザのバージョンが87.0.4280.66（Version87）であるなら
そのバージョンに対応した最新のchromeドライバーは、ChromeDriver 87.0.4280.88です。
そちらを入れてみたらいかがでしょうか。
https://sites.google.com/a/chromium.org/chromedriver/downloads

[sg_mm]

長期にお付き合いいただき非常にありがとうございます。
ChromeDriverManagerではなく、以下のコードで手動でPathを指定するよう変更してみたところ、
別のエラーになったので、ちょっと問題が違う方向に進みそうなので深堀はやめておきたいと思います。
（/etc/hostsに127.0.0.1 localhostはコメントアウトされておらず設定されています）

driver = webdriver.Chrome('/mnt/c/workspace/driver/chromedriver.exe')
----
File "/usr/local/lib/python3.8/dist-packages/selenium/webdriver/chrome/webdriver.py", line 73, in __init__
self.service.start()
File "/usr/local/lib/python3.8/dist-packages/selenium/webdriver/common/service.py", line 104, in start
raise WebDriverException("Can not connect to the Service %s" % self.path)
selenium.common.exceptions.WebDriverException: Message: Can not connect to the Service /mnt/c/workspace/driver/chromedriver.exe

[Takeshi_Ueda]

ubuntu上でdriver指定してるわけでなく。。Windows上のdriver使ってるんですね。
WSL2上のubuntuなのは理解しましたが。。
最初からその旨記載されてないとubuntuでdriver指定していると思います。
ubuntuからWindowsのexeは実行できるんでしたっけ？
そもそもがおかしいと思いますよ。（これ以上は、システム構成を記載していただかないと答えようないです）