【EC2】seleniumを動かしたとき、アクセスできないURLがある

Question

前提

EC2上でseleniumを用いて、とあるURLにアクセスを試みるもアクセスできない。
なお、URLに'https://www.yahoo.co.jp/'等を指定すると問題なくアクセスできた。
なお、ローカルでは問題なくアクセスできた。(OSはwindows、webdriverはwindows対応のものに挿げ替え)

実現したいこと

EC2上でseleniumを用いて、とあるURLにアクセスしたい。

発生している問題・エラーメッセージ

selenium.common.exceptions.WebDriverException: Message: unknown error: net::ERR_CONNECTION_REFUSED
  (Session info: headless chrome=101.0.4951.41)

該当のソースコード

# ---------------------------------------------------------------------------------------------------------
def conf_chromewebdriver():
    # configure Chrome webdriver
    options = webdriver.ChromeOptions()
    options.add_experimental_option('excludeSwitches', ['enable-logging'])
    options.add_argument("start-maximized")
    options.add_argument("enable-automation")
    options.add_argument("--headless")
    options.add_argument("--no-sandbox")
    options.add_argument("--disable-infobars")
    options.add_argument('--disable-extensions')
    options.add_argument("--disable-dev-shm-usage")
    options.add_argument("--disable-browser-side-navigation")
    options.add_argument("--disable-gpu")
    options.add_argument('--ignore-certificate-errors')
    options.add_argument('--ignore-ssl-errors')
    prefs = {"profile.default_content_setting_values.notifications": 2}
    options.add_experimental_option("prefs", prefs)
    options.use_chromium = True
    options.headless = True 
    chrome_service = fs.Service(
        executable_path=webdriver_Chrome_path) 
    driver = webdriver.Chrome(
        options=options, service=chrome_service) 
    driver.maximize_window()

    return(driver)


# ---------------------------------------------------------------------------------------------------------
    driver = conf_chromewebdriver()

    driver.get(”とあるURL”) 　　　←ここでエラーとなる。
# ---------------------------------------------------------------------------------------------------------

試したこと

URLに'https://www.yahoo.co.jp/'等のアドレスを指定　→　アクセス成功
EC２上でなくローカルでスクリプトを実施　→　アクセス成功

補足情報

chrome: 101.0.4951.41
chromedriver_linux64: 101.0.4951.41
python:3.10.4

Comments

[AbeTakashi]

単純にEC2からのアクセスを拒絶してるだけではないでしょうか？
海外リージョンのインスタンスを使用しているのなら、単純に海外IPと判断されて遮断されてる可能性はあるかとおもいます。
国内リージョンを使ってるにしても、スクレイピングの対策を入れるなどしている可能性もあるのでは？ 主要なクラウドサービスはIPアドレスが公開されていたりします。

他の要因も考えられますが、残念ですが「とあるURL」とだけしか書かれてなく、この質問をみてる第三者も検証ができないので、現状の情報だけではっきりとした回答は出そうにない気がします。

[otn]

EC2上で、wget や curl 等を使ってアクセスできますか？
同様のエラーなら、EC2からはアクセスできないと言うことです。

[compan]

とあるURLですが、ループバックアドレスを指定しております。

EC2上で、wget や curl コマンドを使ってもアクセスできなかったです。。

[otn]

では、そのサイトのアクセスか、EC2を使うことか、どちらかを諦めましょう。

[AbeTakashi]

ループバックアドレス（127.0.0.1？）ということはそのサイトはEC2自身にあるってことですか？ wgetでもcurlアクセスできないなら、seleniumも当然無理でしょう。Pythonのスクリプト以前の問題でしょうね。Apacheかnginxかビルドインサーバなのかは分かりませんが、その辺の設定がおかしいのだと思います。もしくは/etc/hostsの設定がおかしいとか。まずはループバックアドレスでwgetなりが成功するところを目指した方がいいです。

[compan]

ご回答ありがとうございます。
nginxがなくなっていたことが原因でした。