Windows10 Python3.6 Celenium 環境でheadless chromeが起動しない。

Question

前提・実現したいこと

headlessブラウザを起動してスクレイピングをする。

よろしくお願いします。

発生している問題・エラーメッセージ

3.6.4 |Anaconda, Inc.| (default, Jan 16 2018, 10:22:32) [MSC v.1900 64 bit (AMD64)]
Traceback (most recent call last):
File "test.py", line 23, in <module>
main()
File "test.py", line 16, in main
driver = webdriver.Chrome(chrome_options=options, executable_path=executable_path, service_args=["--verbose", f"--log-path={log_path}"])
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 75, in init
desired_capabilities=desired_capabilities)
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 154, in init
self.start_session(desired_capabilities, browser_profile)
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 243, in start_session
response = self.execute(Command.NEW_SESSION, parameters)
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 312, in execute
self.error_handler.check_response(response)
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: chrome failed to start
(Driver info: chromedriver=2.9.248315,platform=Windows NT 6.3 x86_64)

【Chrome Driverのデバックログの内容】
[2.995][INFO]: COMMAND InitSession {
"capabilities": {
"alwaysMatch": {
"browserName": "chrome",
"goog:chromeOptions": {
"args": [ "--no-sandbox", "--disable-gpu", "--headless" ],
"extensions": [ ]
},
"platformName": "any"
},
"firstMatch": [ {

} ]
},
"desiredCapabilities": {
"browserName": "chrome",
"goog:chromeOptions": {
"args": [ "--no-sandbox", "--disable-gpu", "--headless" ],
"extensions": [ ]
},
"platform": "ANY",
"version": ""
}
}
[2.998][INFO]: Populating Preferences file: {
"alternate_error_pages": {
"enabled": false
},
"autofill": {
"enabled": false
},
"browser": {
"check_default_browser": false
},
"distribution": {
"import_bookmarks": false,
"import_history": false,
"import_search_engine": false,
"make_chrome_default_for_user": false,
"show_welcome_page": false,
"skip_first_run_ui": true
},
"dns_prefetching": {
"enabled": false
},
"profile": {
"content_settings": {
"pattern_pairs": {
"https://,": {
"media-stream": {
"audio": "Default",
"video": "Default"
}
}
}
},
"default_content_settings": {
"geolocation": 1,
"mouselock": 1,
"notifications": 1,
"popups": 1,
"ppapi-broker": 1
},
"password_manager_enabled": false
},
"safebrowsing": {
"enabled": false
},
"search": {
"suggest_enabled": false
},
"translate": {
"enabled": false
}
}
[3.000][INFO]: Populating Local State file: {
"background_mode": {
"enabled": false
},
"ssl": {
"rev_checking": {
"enabled": false
}
}
[3.512][INFO]: RESPONSE InitSession unknown error: chrome failed to start
[3.512][DEBUG]: Log type 'driver' lost 0 entries on destruction
[3.512][DEBUG]: Log type 'browser' lost 0 entries on destruction

該当のソースコード

-- coding: utf-8 --

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import sys

def main():
print(sys.version)
options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-gpu')
#options.add_argument('--headless')
options.add_argument('--incognito')
options.add_argument('--disable-extensions')
log_path = r"C:\selenium\chromedriver.log"
executable_path = 'C:\selenium\chromedriver.exe'
driver = webdriver.Chrome(chrome_options=options, executable_path=executable_path, service_args=["--verbose", f"--log-path={log_path}"])

driver.get('https://www.google.co.jp')
driver.save_screenshot('screen.png')

if name == "main":
main()

試したこと

【pathの登録】
C:\selenium\

【pythonの再インストール、バージョンの変更】
python2.xに変更 → 変化なし
python3.xを再インストール → 変化なし
python3.x 32bit を Anaconda python3.x 64bitに変更 → 変化なし

【//を/に】
『C:\Program Files (x86)\』などの//を
『C:\Program Files (x86)\』に変更
→ エラーに変化なし

【同じようなエラーを検索して解決策を実行】
https://code.i-harness.com/ja/q/2680e29

【起動オプションの変更 ※以下に変更】変化なし
options.add_argument('--no-sandbox')
options.add_argument('--disable-gpu')
#options.add_argument('--headless')
options.add_argument('--incognito')
options.add_argument('--disable-extensions')

補足情報（FW/ツールのバージョンなど）

【バージョン】
windows10 Pro 64bit
chrome : 64.0.3282.186（Official Build） （64 ビット）
python : 3.6.4 Anaconda [MSC v.1900 64 bit (AMD64)]
chromeWebdriver : ChromeDriver 2.35(Supports Chrome v62-64) → chromedriver_win32

Answer 1

options.binary_location = "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe"

binary_location の行を削除して実行しても同じような問題が発生しますか？

# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import sys


def main():
    print(sys.version)
    options = Options()
    options.add_argument('--headless')
    driver = webdriver.Chrome(chrome_options=options, executable_path=r"C:\selenium\chromedriver.exe")

    driver.get('https://www.google.co.jp')
　　# ヘッドレスモードはUIを表示しないため、スクリーンショットで動作確認。
    driver.save_screenshot('screen.png')


if __name__ == "__main__":
    main()

こちらの実行環境も書いておきます。

Chrome バージョン: 64.0.3282.186（Official Build） （64 ビット）
Chrome Driver 2.35
python 3.6.3 |Anaconda custom (64-bit)| (default, Oct 15 2017, 03:27:45) [MSC v.1900 64 bit (AMD64)]

■フォルダ構成

C:\selenium\
           |- chromedriver.exe

Chrome Driver 2.35のダウンロード先

---

Chrome Driverのデバックログの出力方法

log_path = r"C:\selenium\qc1.log"
driver = webdriver.Chrome(r'C:\selenium\chromedriver', service_args=["--verbose", f"--log-path={log_path}"])

上記出力されたデバックログのLaunching chrome:以前の行にメッセージなどは出てませんでしょうか？
あと--headless　オプションなしでも同じエラーになるのでしょうか？

---

こちらの環境のLaunching chrome:行以前のchromedriver.logです。

[1520116785.758][INFO]: COMMAND InitSession {
   "capabilities": {
      "alwaysMatch": {
         "browserName": "chrome",
         "goog:chromeOptions": {
            "args": [ "--no-sandbox", "--disable-gpu", "--headless" ],
            "extensions": [  ]
         },
         "platformName": "any"
      },
      "firstMatch": [ {

      } ]
   },
   "desiredCapabilities": {
      "browserName": "chrome",
      "goog:chromeOptions": {
         "args": [ "--no-sandbox", "--disable-gpu", "--headless" ],
         "extensions": [  ]
      },
      "platform": "ANY",
      "version": ""
   }
}
[1520116785.761][INFO]: Populating Preferences file: {
   "alternate_error_pages": {
      "enabled": false
   },
   "autofill": {
      "enabled": false
   },
   "browser": {
      "check_default_browser": false
   },
   "distribution": {
      "import_bookmarks": false,
      "import_history": false,
      "import_search_engine": false,
      "make_chrome_default_for_user": false,
      "skip_first_run_ui": true
   },
   "dns_prefetching": {
      "enabled": false
   },
   "profile": {
      "content_settings": {
         "pattern_pairs": {
            "https://*,*": {
               "media-stream": {
                  "audio": "Default",
                  "video": "Default"
               }
            }
         }
      },
      "default_content_setting_values": {
         "geolocation": 1
      },
      "default_content_settings": {
         "geolocation": 1,
         "mouselock": 1,
         "notifications": 1,
         "popups": 1,
         "ppapi-broker": 1
      },
      "password_manager_enabled": false
   },
   "safebrowsing": {
      "enabled": false
   },
   "search": {
      "suggest_enabled": false
   },
   "translate": {
      "enabled": false
   }
}
[1520116785.764][INFO]: Populating Local State file: {
   "background_mode": {
      "enabled": false
   },
   "ssl": {
      "rev_checking": {
         "enabled": false
      }
   }
}

# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import sys


def main():
    print(sys.version)
    options = Options()
    options.add_argument('--no-sandbox')
    options.add_argument('--disable-gpu')
    options.add_argument('--headless')
    log_path = r"C:\selenium\chromedriver.log"
    executable_path = 'C:\selenium\chromedriver.exe'
    driver = webdriver.Chrome(chrome_options=options, executable_path=executable_path, service_args=["--verbose", f"--log-path={log_path}"])

    driver.get('https://www.google.co.jp')
    driver.save_screenshot('screen.png')


if __name__ == "__main__":
    main()

---

うーむ。同じログですかー。そうなると起動オプションの違いでしょうか。
こちらの起動オプションは

[1520118045.361][INFO]: Launching chrome: "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --disable-background-networking --disable-client-side-phishing-detection --disable-default-apps --disable-gpu --disable-hang-monitor --disable-popup-blocking --disable-prompt-on-repost --disable-sync --disable-web-resources --enable-automation --enable-logging --force-fieldtrials=SiteIsolationExtensions/Control --headless --ignore-certificate-errors --load-extension="C:\Users\ユーザー名\AppData\Local\Temp\scoped_dir112260_27266\internal" --log-level=0 --metrics-recording-only --no-first-run --no-sandbox --password-store=basic --remote-debugging-port=12303 --test-type=webdriver --use-mock-keychain --user-data-dir="C:\Users\ユーザー名\AppData\Local\Temp\scoped_dir112260_30968" data:,

1, ログメッセージにchrome failed to startのメッセージは出力されているのでしょうか？
2, Proxyの設定をされていますか？こちらは特にProxyは使っていません。

---

オプションの纏めありがとうございました。
あと考えられる点としては、最小構成でChromeを起動してみるぐらいかと。

オプション	内容
--incognito	シークレットモードでChromeを起動
--disable-extensions	拡張機能を無効化

    options.add_argument('--no-sandbox')
    options.add_argument('--disable-gpu')
    #options.add_argument('--headless')
    options.add_argument('--incognito')
    options.add_argument('--disable-extensions')

これで無理でしたら、質問文を現在のコードに改訂して他の人の回答を待ったほうが良いかもしれません。

Comments

[sunafu]

ご回答ありがとうございます！
-----
options.binary_location = "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe"
----
を削除してもエラー内容は変わりませんでした。

貼ってくださったコードの『 driver = webdriver.Chrome(chrome_options=options, executable_path=r"C:\selenium\chromedriver.exe")』の最後の部分を『C:\Python36\selenium\webdriver\chromedriver.exe』に変えて実行したところ、

---------
3.6.4 (v3.6.4:d48eceb, Dec 19 2017, 06:04:45) [MSC v.1900 32 bit (Intel)]
Traceback (most recent call last):
File "test.py", line 18, in <module>
main()
File "test.py", line 11, in main
driver = webdriver.Chrome(chrome_options=options, executable_path=r"C:\Python36\selenium\webdriver\chromedriver.exe")
File "C:\Python36\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 75, in __init__
desired_capabilities=desired_capabilities)
File "C:\Python36\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 154, in __init__
self.start_session(desired_capabilities, browser_profile)
File "C:\Python36\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 243, in start_session
response = self.execute(Command.NEW_SESSION, parameters)
File "C:\Python36\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 312, in execute
self.error_handler.check_response(response)
File "C:\Python36\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: chrome failed to start
(Driver info: chromedriver=2.35.528161 (5b82f2d2aae0ca24b877009200ced9065a772e73),platform=Windows NT 10.0.16299 x86_64)
--------

こういった内容のログが流れました。

[umyu]

うーん、こちらの環境では再現しないですね。
options.add_argument('--no-sandbox')
options.add_argument('--disable-gpu')
この2つのオプションを追加してみても、同じメッセージでしょうか？

[sunafu]

お返事ありがとうございます!

options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-gpu')
options.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=options, executable_path="C:\Python36\selenium\webdriver\chromedriver.exe")

としたのですが、変わりません。。。

[sunafu]

ありがとうございます！
参考にさせて頂きます┏○

[umyu]

> 3.6.4 (v3.6.4:d48eceb, Dec 19 2017, 06:04:45) [MSC v.1900 32 bit (Intel)]
これ32bitのpythonをインストールしてませんか？

[sunafu]

Python 64bitでやって同じエラーが出てたので、ChromewebDriverに合わせて32bitにしてみたのですが、64bitにしてもう一度やってみます！
今環境を同じにするため、Anacondaから64bitのをインストール中です!

[sunafu]

環境を変えてみたのですが。

----エラー------
3.6.4 |Anaconda, Inc.| (default, Jan 16 2018, 10:22:32) [MSC v.1900 64 bit (AMD64)]
Traceback (most recent call last):
File "test.py", line 21, in <module>
main()
File "test.py", line 14, in main
driver = webdriver.Chrome(chrome_options=options, executable_path=r"C:\Python36\selenium\webdriver\chromedriver.exe")
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 75, in __init__
desired_capabilities=desired_capabilities)
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 154, in __init__
self.start_session(desired_capabilities, browser_profile)
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 243, in start_session
response = self.execute(Command.NEW_SESSION, parameters)
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 312, in execute
self.error_handler.check_response(response)
File "C:\ProgramData\Anaconda3\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: chrome failed to start
(Driver info: chromedriver=2.35.528161 (5b82f2d2aae0ca24b877009200ced9065a772e73),platform=Windows NT 10.0.16299 x86_64)
-----

---コード----
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import sys

def main():
print(sys.version)
options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-gpu')
options.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=options, executable_path=r"C:\Python36\selenium\webdriver\chromedriver.exe")

driver.get('https://www.google.co.jp')
driver.save_screenshot('screen.png')

if __name__ == "__main__":
main()
------

この状態のままです。┏○))

[sunafu]

ありがとうございます！
--headless　オプションなしでも同じエラーになります!

ログのメッセージは下記になります。

----- "browser": {
"check_default_browser": false
},
"distribution": {
"import_bookmarks": false,
"import_history": false,
"import_search_engine": false,
"make_chrome_default_for_user": false,
"show_welcome_page": false,
"skip_first_run_ui": true
},
"dns_prefetching": {
"enabled": false
},
"profile": {
"content_settings": {
"pattern_pairs": {
"https://*,*": {
"media-stream": {
"audio": "Default",
"video": "Default"
}
}
}
},
"default_content_settings": {
"geolocation": 1,
"mouselock": 1,
"notifications": 1,
"popups": 1,
"ppapi-broker": 1
},
"password_manager_enabled": false
},
"safebrowsing": {
"enabled": false
},
"search": {
"suggest_enabled": false
},
"translate": {
"enabled": false
}
}
[2.998][INFO]: Populating Local State file: {
"background_mode": {
"enabled": false
},
"ssl": {
"rev_checking": {
"enabled": false
}
}
}

[sunafu]

こちらもログを取ってみたところ同じ内容でした。

------
[2.995][INFO]: COMMAND InitSession {
"capabilities": {
"alwaysMatch": {
"browserName": "chrome",
"goog:chromeOptions": {
"args": [ "--no-sandbox", "--disable-gpu", "--headless" ],
"extensions": [ ]
},
"platformName": "any"
},
"firstMatch": [ {

} ]
},
"desiredCapabilities": {
"browserName": "chrome",
"goog:chromeOptions": {
"args": [ "--no-sandbox", "--disable-gpu", "--headless" ],
"extensions": [ ]
},
"platform": "ANY",
"version": ""
}
}
[2.998][INFO]: Populating Preferences file: {
"alternate_error_pages": {
"enabled": false
},
"autofill": {
"enabled": false
},
"browser": {
"check_default_browser": false
},
"distribution": {
"import_bookmarks": false,
"import_history": false,
"import_search_engine": false,
"make_chrome_default_for_user": false,
"show_welcome_page": false,
"skip_first_run_ui": true
},
"dns_prefetching": {
"enabled": false
},
"profile": {
"content_settings": {
"pattern_pairs": {
"https://*,*": {
"media-stream": {
"audio": "Default",
"video": "Default"
}
}
}
},
"default_content_settings": {
"geolocation": 1,
"mouselock": 1,
"notifications": 1,
"popups": 1,
"ppapi-broker": 1
},
"password_manager_enabled": false
},
"safebrowsing": {
"enabled": false
},
"search": {
"suggest_enabled": false
},
"translate": {
"enabled": false
}
}
[3.000][INFO]: Populating Local State file: {
"background_mode": {
"enabled": false
},
"ssl": {
"rev_checking": {
"enabled": false
}
}

[sunafu]

chromeをアンインストールしてやってみたのですが、全く同じエラーが起きます。
そのあたりを少し調べています。

[sunafu]

ログの意味するところがまだわからないのですが、調べてみます!

optionの違いをまとめてみました。

◯=同じものがある
△=自分だけがある
×=自分にない

----自分のログ----
[3.040][INFO]: Launching chrome: "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe"
◯--disable-background-networking
◯--disable-client-side-phishing-detection
△--disable-component-update
◯--disable-default-apps
◯--disable-hang-monitor
◯--disable-prompt-on-repost
◯--disable-sync
◯--disable-web-resources
◯--enable-logging
△--full-memory-crash-report
△--ignore-certificate-errors
◯--load-extension="C:\Users\ユーザー名\AppData\Local\Temp\scoped_dir22800_1069\internal"
◯--logging-level=1 ※値が違います。
◯--metrics-recording-only
◯--no-first-run
◯--password-store=basic
◯--remote-debugging-port=12009
△--safebrowsing-disable-auto-update
△--safebrowsing-disable-download-protection
◯--use-mock-keychain
◯--user-data-dir="C:\Users\ユーザー名\AppData\Local\Temp\scoped_dir22800_4162" data:,
--------------------

×--disable-gpu
×--disable-popup-blocking
×--enable-automation
×--force-fieldtrials=SiteIsolationExtensions/Control
×--headless --ignore-certificate-errors
×--no-sandbox
×--test-type=webdriver

[sunafu]

あとその下にこういったログがありました。

[3.512][INFO]: RESPONSE InitSession unknown error: chrome failed to start
[3.512][DEBUG]: Log type 'driver' lost 0 entries on destruction
[3.512][DEBUG]: Log type 'browser' lost 0 entries on destruction

[sunafu]

ProxyやVPNなどは使っていません。

[sunafu]

細かい説明まで本当に有難うございます。
optionを追加して試してみたのですが同じエラーのままでした。。。

umyuさんの仰る通り、一度質問文を変えてみます! ありがとうございました!┏○