[Python] SeleniumのChromeで認証プロキシが自動で認証されない

Question

SeleniumのChromeDriverで認証が必要なプロキシを自動認証させたいのですが、chromeが起動すると手動認証のポップアップが出てきてしまい、入力すれば正常につながりますが、キャンセルすると認証されません。

これを自動で認証を通してほしいのですが、解決策はありますでしょうか。
できるだけ拡張機能でプロキシを設定したユーザープロファイルを使う方法は避けたいです。

やったこと

selenium.webdriver.ChromeOptions()のインスタンスのadd_argumentメソッドを使い、

• --proxy-server=http://サーバーIP:ポート
• --proxy-auth=ユーザーID:パスワード

を登録しました。
このインスタンスをselenium.webdriver.Chrome()に渡してChromeを起動しています。

コード

    def _create_options(self, proxy_settings=None) -> webdriver.ChromeOptions:
        options = self.config["browser"]["chrome"]["options"]
        chrome_options = webdriver.ChromeOptions()

        for conf in options:
            chrome_options.add_argument(conf)
        
        chrome_options.add_argument(f"--proxy-server=http://{proxy_settings['proxy_host']}:{proxy_settings['proxy_port']}")
        chrome_options.add_argument(f"--proxy-auth={proxy_settings['proxy_username']}:{proxy_settings['proxy_password']}")
        return chrome_options

バージョン情報

• Python: 3.7.4
• selenium: 3.141.0
• chromedriver-binary: 76.0.3809.25.0

宜しくお願いいたします。

Comments

[meg_]

プロキシ設定しているコードを載せてください。（もちろんユーザー名、パスは適当なもので良いです）

[kurosuke___]

def _create_options(self, proxy_settings=None) -> webdriver.ChromeOptions:
options = self.config["browser"]["chrome"]["options"]
chrome_options = webdriver.ChromeOptions()

for conf in options:
chrome_options.add_argument(conf)

chrome_options.add_argument(f"--proxy-server=http://{proxy_settings['proxy_host']}:{proxy_settings['proxy_port']}")
chrome_options.add_argument(f"--proxy-auth={proxy_settings['proxy_username']}:{proxy_settings['proxy_password']}")
return chrome_options

[kurosuke___]

みにくいので追記します

[meg_]

「--proxy-auth」が効かないとの情報がありますね。非公式ですがオプション一覧（下記サイト内のリンク）にいないですね。
下記サイトは参考になりませんか？
http://naruoga.hatenablog.com/entry/2018/02/04/225909

※私自身はプロキシ経由での通信しかできない環境にてブラウザに固定でプロキシ設定しているため、pythonでの設定はしておりません

[kurosuke___]

見てみますね、ありがとうございます。

Answer 1

他コミュニティがマルチポスト禁止のため解決済みにします。

Comments

[mini1988]

はじめまして。本件同じ悩みを持っているのですが、解決方法をご披露願えないでしょうか？もしくは解決策を示した他のサイトを教えていただけないでしょうか？厚かましいお願いで恐縮ですが、何卒回答いただけますようお願い致します。

[kurosuke___]

散々調べ尽くした結果、Seleniumは機能として認証プロキシを自動で通すというのは持っていないそうです。
私が最終的に決断した手法は以下のURLにて言及されているものです。
https://stackoverflow.com/questions/55582136/how-to-set-proxy-with-authentication-in-selenium-chromedriver-python
ChromeExtensionのAPIで、リクエストするたびに発火するイベントがあるので、そのイベントで認証します。
具体的にはPythonプログラム内で認証したいプロキシの
・ホスト
・ポート
・ユーザーネーム
・パスワード
を受け取り、ChromeExtensionとして機能させるための文字列に埋め込みんだあとファイルにしてZip圧縮します。
そのZipファイルのパスを保存しておき、ChromeDriverのadd_extensionメソッドに引き渡します。
そうすればリクエストのたびに認証プロキシを自動で通る拡張機能を読み込んだ状態で開始できます。

拡張機能自体のコードは数十行なのでPythonプログラム内でハードコードできる範疇です。

[kurosuke___]

ただし、拡張機能はヘッドレスモードのChromeでは機能しないので、ヘッドレスモードでの運用が必要な場合はこの手法は使えません。

[mini1988]

ご回答いただき、ありがとうございました。早速、試してみたいと思います。