【Python】selenium + headless Chromeでヘッダにパラメタを付与したい

Question

SeleniumのPhantomJSサポート終了に伴い、
以前作成したWEBスクレイピングのソースをheadless Chromeを使用したものに修正を行っています。

アクセス行うサイトではベーシック認証が行われており、
PhantomJSを使っていた時にはヘッダにBASE64エンコードした認証情報を付与してページの情報を取得しておりました。
しかし、headless Chromeを使用してヘッダに情報を付与する方法がわからないため、
行き詰っております。
ご存知の方がいらっしゃいましたら、教えていただきたいです。

もともとのソース

import base64
from selenium import webdriver

# PhantomJS
def getHogePage():
    userId = 'moge_moge'
    password = 'passward'

    #IDとパスワードをベーシック認証用に整形 & BASE64エンコード
    s = userId + ":" + password
    en_str = str(base64.b64encode(s.encode('utf-8')))

    # ヘッダーに認証情報を突んで driver生成
    webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.{}'.format('authorization')] = "Basic " + en_str[2:-1]
    driver = webdriver.PhantomJS(service_log_path=os.path.devnull)

    # アクセスするURL
    url = "http://hoge.hogemoge.co.jp/membertop.html"
   
    # URLを読み込み
    driver.get(url)
    res = driver.page_source

    print(res)

改修中ソース

import base64
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# headless Chrome
def getHogePage():
    userId = 'moge_moge'
    password = 'passward'

    #IDとパスワードをベーシック認証用に整形 & BASE64エンコード
    s = userId + ":" + password
    en_str = str(base64.b64encode(s.encode('utf-8')))

　　options = Options()
　　options.add_argument('--headless')
　　options.add_argument('--disable-gpu')
　　options.add_argument('--window-size=1024,768')
    
    #認証情報をヘッダーに入れたい
    #webdriver.DesiredCapabilities.CHROME[ここになにか書く？] = "Basic " + en_str[2:-1]
    
    driver = webdriver.Chrome(chrome_options=options)
    
    # アクセスするURL
    url = "http://hoge.hogemoge.co.jp/membertop.html"
    
    # URLを読み込み
    driver.get(url)
    res = driver.page_source

    print(res)

Answer 1

ChromeDriver 固有の機能は以下の辺りで解説されておりますが、 PhantomJS 同様な「任意のカスタムヘッダをリクエストに付与する」機能は用意されていないようですね。残念ながら。

• DesiredCapabilities - SeleniumHQ/selenium Wiki
• Capabilities & ChromeOptions - ChromeDriver

ではどうするかですが、目的が Basic 認証のページにアクセスする ことだけならば、カスタムヘッダという機能に拘らずとも、恐らく以下のような選択肢が利用できると思われます。

1. 認証情報を URL に含める
2. 自動で認証情報を入力する Chrome 拡張を作り、インストールする

1 は通常のブラウザ利用時にも使える方法ですが、 URL には、今回御呈示のソースで言えば http://moge_moge:[e-mail]/membertop.html という形で認証情報を含めることが出来ます。一度これで認証を通せば、後は Chrome 自身が認証情報をキャッシュして利用可能になると思うので、多分一番お手軽です。

※但し、 Chrome 60 では バグがあってこの方法が使えない という話もあるようなので、 Chrome のバージョンが古いようでしたら更新しておいて下さい

2 は ここの Stackoverflow 回答 にて、 1 以外の方法として実際の拡張の gist と共に提案されているもので、onAuthRequired イベントハンドラで自動的に認証を返す小さな Chrome Extension を作ってしまい、それを Options.add_extension() でインストールしておくという手法です。
少し遠回りにも見えますが、認証失敗時には自動でキャンセルする実装にもなっているようなので、 Headless でない場合も安心して使える (認証失敗時、 Headless でない場合は認証ダイアログがでて止まり得る) という利点があるように思います。

尚、どうしても 任意のカスタムヘッダを付与したい という要望があるならば、 2 の手法を拡張して 任意のヘッダを付与する Chrome 拡張を自動生成する Pythonコードで実現している人 も居るようです。認証以外で必要な場合は御検討下さい。