seleniumで全てのサイトにアクセスする時に、MaxRetryErrorが出ます。

Question

seleniumを使用して、digital ocean で作成した virtual machine のポートで、brightdataという会社のproxy rotation serverを経由して、Webページにアクセスしています。
しかし下記のエラーが出ます。アクセス先のページはyoutube にしても、facebookにしても同じエラーが出ます。しかしproxyを通さないで、digitalocean のipでdriver getをすると、そのページを表示できます。(一番下のコード)

１時間ほどproxy経由でコードを走らせていたのですがその時はWebページへのアクセスができていました。そして今このような状態になりました。

これは、プロキシの問題だと思うのですが、proxyへのアクセスが過多でブロックされるということがあるのでしょうか？
アドバイスいただけないでしょうか？

File "/Users/****username***/opt/anaconda3/lib/python3.9/site-packages/urllib3/util/retry.py", line 592, in increment
    raise MaxRetryError(_pool, url, error or ResponseError(cause))
urllib3.exceptions.MaxRetryError: HTTPConnectionPool(host='137.184.31.213', port=4444): Max retries exceeded with url: /wd/hub/session/eac94200dfd161d0000000000000 (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fa7d8cf7670>: Failed to establish a new connection: [Errno 61] Connection refused'))

from selenium import webdriver
import time

import chromedriver_binary
from fake_useragent import UserAgent

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from webdriver_manager.chrome import ChromeDriverManager

import zipfile

PROXY_HOST = 'zproxy.lum-superproxy.io' #''  # rotating proxy or host
PROXY_PORT = 22225 #8080 # port
PROXY_USER = '***********'#'proxy-user' # username
PROXY_PASS = '***********'#'proxy-password' # password

manifest_json = """
{
    "version": "1.0.0",
    "manifest_version": 2,
    "name": "Chrome Proxy",
    "permissions": [
        "proxy",
        "tabs",
        "unlimitedStorage",
        "storage",
        "<all_urls>",
        "webRequest",
        "webRequestBlocking"
    ],
    "background": {
        "scripts": ["background.js"]
    },
    "minimum_chrome_version":"22.0.0"
}
"""

background_js = """
var config = {
        mode: "fixed_servers",
        rules: {
        singleProxy: {
            scheme: "http",
            host: "%s",
            port: parseInt(%s)
        },
        bypassList: ["localhost"]
        }
    };

chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

function callbackFn(details) {
    return {
        authCredentials: {
            username: "%s",
            password: "%s"
        }
    };
}

chrome.webRequest.onAuthRequired.addListener(
            callbackFn,
            {urls: ["<all_urls>"]},
            ['blocking']
);
""" % (PROXY_HOST, PROXY_PORT, PROXY_USER, PROXY_PASS)


from random_user_agent.user_agent import UserAgent
from random_user_agent.params import SoftwareName, OperatingSystem,HardwareType
from selenium.common.exceptions import NoSuchElementException


def get_chromedriver(port):
    chrome_options = webdriver.ChromeOptions()
    pluginfile = 'proxy_auth_plugin.zip'
    with zipfile.ZipFile(pluginfile, 'w') as zp:
        zp.writestr("manifest.json", manifest_json)
        zp.writestr("background.js", background_js)
    chrome_options.add_extension(pluginfile)
    hardware_types=[HardwareType.COMPUTER.value]
    software_names = [SoftwareName.CHROME.value]
    operating_systems = [OperatingSystem.MAC.value]   
    user_agent_rotator = UserAgent(software_names=software_names, operating_systems=operating_systems, hardware_types=hardware_types,limit=100)
    user_agents = user_agent_rotator.get_user_agents()
    user_agent = user_agent_rotator.get_random_user_agent()
    print(user_agent)
    # chrome_options.add_argument('user-agent='+UserAgent().random)
    chrome_options.add_argument('user-agent='+user_agent)
    chrome_options.add_argument('--no-sandbox')  
    chrome_options.add_argument('--disable-blink-features=AutomationControlled')
    driver = webdriver.Remote(
            command_executor='http://{}:4444/wd/hub'.format(port),
            options=chrome_options)
    driver.maximize_window()
    return driver

driver=get_chromedriver('137.184.31.213')
time.sleep(10)
driver.get('https://whatismyipaddress.com/')
driver.quit()
print('driver quit')

def get_chromedriver(port):
    chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument('--no-sandbox') 

    driver = webdriver.Remote(
            command_executor='http://{}:4444/wd/hub'.format(port),
            options=chrome_options)
    driver.maximize_window()
    return driver

driver=get_chromedriver('137.184.31.213')
time.sleep(10)
driver.get('https://www.cman.jp/network/support/go_access.cgi')

Answer 1

申し訳ありませんでした。
何度のbright data の proxy rotation のアカウントページを確認して、onであること、serverがローカルで立ち上がってることは確認してたのですが、
アカウントバランスが０になっていました。