pythonでのseleniumを用いたwebプロキシの設定について

Question

前提・実現したいこと

pythonのseleniumをchromeで動かしてユーザー名とパスワードの設定のあるwebプロキシに自動的に接続できるようにしたいのですが、思うようにすすみません。
ubuntu20.04の実機を使ってcronで定期的にwebプロキシに接続をしてサイト情報を引っ張ってきたいのですが、headlessモードになると拡張機能を使うことが出来ずに失敗になってしまいます。
ubuntu本体のプロキシの設定もネットで調べた限り試してみたのですが、うまくいきませんでした。
もし、よろしければ誰か方法があるのか、または実現不可能なことなのかを教えてもらえると嬉しいです。

試したこと

** pythonスクリプトに下記のコードを記入 **

PROXY = '【ホスト名】:【ポート番号】'
PROXY_AUTH = '【ユーザID】:【ユーザパスワード】'
options.add_argument('--proxy-server=%s' % PROXY)
options.add_argument('--proxy-auth=%s' % PROXY_AUTH)

.bashrcに下記のコードを記入

export HTTP_PROXY=http://【ユーザID】:【ユーザパスワード】@【ホスト名】:【ポート番号】
export HTTPS_PROXY=http://【ユーザID】:【ユーザパスワード】@【ホスト名】:【ポート番号】
export no_proxy="127.0.0.1,localhost"

/etc/environmentに下記のコードを記入

export HTTP_PROXY=http://【ユーザID】:【ユーザパスワード】@【ホスト名】:【ポート番号】
export HTTPS_PROXY=http://【ユーザID】:【ユーザパスワード】@【ホスト名】:【ポート番号】
export no_proxy="127.0.0.1,localhost"

また、こちらが初めての質問になるので不備や不手際がありましたら、教えて頂けると幸いです。

Comments

[jbpb0]

> headlessモードになると拡張機能を使うことが出来ず

参考になるかどうか分からないけど、紹介しておきます
(内容は未確認)
https://tokidoki-web.com/2018/04/selenium%E3%81%AEchrome%E3%83%98%E3%83%83%E3%83%89%E3%83%AC%E3%82%B9%E3%83%96%E3%83%A9%E3%82%A6%E3%82%B6%E3%81%A7%E6%8B%A1%E5%BC%B5%E6%A9%9F%E8%83%BD%E3%82%92%E8%87%AA%E5%8B%95%E5%AE%9F%E8%A1%8C/

[yukari_shimura]

ありがとうございます。
紹介をしていただいたページではseleniumを使っているみたいですがheadlessモードではなかったみたいです。
気にかけていただきありがとうございました。

[jbpb0]

あ、ヘッドレスモードと、ヘッドレスブラウザって、違うものなのですか
紹介したWebページに「Chromeヘッドレスブラウザ」と書かれてたので、てっきりChromeの「ヘッドレスモード」のことかと思ってしまいました
失礼しました

Answer 1

過去質問にありましたが、Chromeでは、認証付きProxyを環境変数や起動オプションでは指定できなかったはずです。

Squid等で、ローカルにProxyサーバーを作って、Squidから目的のProxyサーバーに認証付きで接続するなど。
あるいは、別のブラウザを使うか。

Comments

[yukari_shimura]

回答ありがとうございます。
chromeからは仕様として不可能なものなんですね。
Firefoxからも試してみたのですが、headlessモードだと思うような動きにならず、また情報が少なく断念してしまっていました。
回答を頂けたローカルにProxyサーバーを作ってという方法を調べてみようと思います。

[otn]

「squid 多段 認証」あたりで検索してみてください。

[yukari_shimura]

丁寧にありがとうございます。
検索をしてチャレンジしてみます。
Chromeのみで認証を突破することが出来ないことがわかったので、ベストアンサーとし質問を閉じさせてもらいました。
回答、ありがとうございました。