requestsライブラリで捕捉される例外について

requestsライブラリを使用し、特定のURLへアクセスを試み、そのページがSSL化されているかどうかをチェックするプログラムを作成致しました。
該当のコードは以下になります。

def check_ssl_certification(targetURL, waitsec_from=1, waitsec_to=3):
    err_msg = {}
    headers = {
        "User-Agent": (
            "Mozilla/5.0 (X11; Linux x86_64; rv:57.0)" "Gecko/20100101 Firefox/57.0"
        )
    }
    session = requests.Session()

    # retries = Retry(total=1,  # リトライ回数
    #             backoff_factor=1,  # sleep時間(リトライするごとに待機時間を指定した秒数加算する)
    #             status_forcelist=[500, 502, 503, 504],raise_on_status=False)
    # timeout以外でリトライするステータスコード
    """
    Session.mount(prefix, adapter) はこのセッションで行う URL が prefix で始まる HTTP 通信に対して、
    アダプター adapter を設定する関数。
    prefix="https://" の場合、URL が https:// で始まるすべての通信が対象
    """
    # session.mount("https://", HTTPAdapter(max_retries=retries))
    # session.mount("http://", HTTPAdapter(max_retries=retries))
    try:
        # print('ok')
        response = session.get(
            url=targetURL, headers=headers, stream=True, timeout=(20.0, 30.0)
        )
    except ssl.SSLError:
        print("SSL認証エラー")
    except ssl.CertificateError as e:
        print("エラー", e)

    except requests.exceptions.ConnectTimeout:
        print("タイムアウトしました。")
        err_msg["connection_timeout"] = "ホストへの接続に失敗しました。"
    except requests.exceptions.ConnectionError as e:
        print("ホストが見つかりませんでした(https)", e)
        err_msg["no_host"] = "ホストが見つかりませんでした。"
        return response

        # HTTP ステータスコードが 4xx と 5xx の場合は urllib.error.HTTPError 例外が投げられる
    except requests.exceptions.HTTPError as e:
        print(e.response.status_code)
    # except requests.exceptions.RetryError:
    #     print('再試行制限に到達しました')
    except requests.exceptions.ReadTimeout as e:
        print("requests.exceptions.ReadTimeoutエラー : ", e)
    except requests.exceptions.TooManyRedirects as e:
        print("エラー: ", e)
    else:
        print("レスポンスステータス: ", response.status_code)
        # sys.exit()
        s = randint(waitsec_from, waitsec_to)
        sleep(s)
        msg_headder = "random sleep " + str(s) + "sec"
        print(
            str(datetime.datetime.now()) + "," + msg_headder + "," + response.url,
            file=codecs.open("requests.log", "a", "utf-8"),
        )
        # print('response.raise_for_status()' ,response.raise_for_status())
        return response
    return err_msg

こちらのコードなのですが、仮にSSL化されていないサイトをtargetURLに設定し、リクエストをかけてみますと、except requests.exceptions.ConnectionError as e:こちらの例外が捕捉されてしまいます。
エラー内容は以下になります。

HTTPSConnectionPool(host='リクエストを送ったURL', port=443): Max retries exceeded with url: /ec_website/login.php (Caused by SSLError(CertificateError("hostname 'リクエストを送ったURL' doesn't match either of '*.php.xdomain.ne.jp', 'php.xdomain.ne.jp'",),))

エラー内容にCaused by SSLError(CertificateErrorと表示されている通り、根本的なエラーの原因はこちらだと思う為、上記コードにおきましては、except ssl.CertificateError as e:を捕捉したいと考えています。
エラー内容で調べていましたら、こちらの記事でもCaused by~~といった形でエラーが出力されていたのですが、ここの部分のエラーを捕捉するか判定するような方法はありませんでしょうか。
ご助言頂けましたら幸いです。

行動規範の内容に同意します

回答2件

ベストアンサー

ppaulさんの回答へのコメントでやりとりするにはボリュームが大きくなってしまったので、
こちらに回答させていただきます。

except で補足した例外の__context__で、その例外の原因となった別の例外を調べることができます。なので、e.__context__.__context__ とたどっていけば大元のexceptionがわかります。

下記のようなコードで一番最初の例外までたどることができます。

python
1def check_ssl_certification(targetURL, waitsec_from=1, waitsec_to=3):
2    headers = {}
3    session = requests.Session()
4
5    try:
6        response = session.get(url=targetURL, headers=headers, stream=True, timeout=(20.0, 30.0))
7    except requests.exceptions.ConnectionError as e:
8        i = 0
9        while e:
10            print('Level', i)
11            print(type(e))
12            print(repr(e))
13            if isinstance(e, ConnectionRefusedError):
14                print('**Connection Refused**')
15            elif isinstance(e, ssl.SSLError):
16                print('**SSL Error**')
17            e = e.__context__
18            i += 1
19
20#Level 0
21#<class 'requests.exceptions.SSLError'>
22#SSLError(MaxRetryError("HTTPSConnectionPool(host='192.168.**.**', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1, '[SSL: #CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1125)')))"))
23#Level 1
24#<class 'urllib3.exceptions.MaxRetryError'>
25#MaxRetryError("HTTPSConnectionPool(host='192.168.**.**', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1125)')))")
26#Level 2
27#<class 'ssl.SSLCertVerificationError'>
28#SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1125)')
29#**SSL Error**

これを試してみて思ったのですが、
except requests.exceptions.SSLError
を requests.exceptions.ConnectionError より前に書いておけば
補足できるのではないかとも思いました。

投稿2021/06/18 05:54

bsdfan

総合スコア4571

jjj001

2021/06/18 08:11 編集

大変ご丁寧に、ご回答頂きありがとうございます。 while文で例外を辿っていく方法など、大変勉強になりました。 > except requests.exceptions.SSLError 自分そもそもこちらの例外が存在することを知らなかったです... 「 except requests.exceptions.SSLError　」こちらの例外を追加し、判定させるように実装してみたいと思います。こちらの例外につきましては、while文で回した際に、存在を把握された形になりますでしょうか...?

bsdfan

2021/06/18 08:36

exceptionのtypeを表示したら　requests.exceptions.SSLError でした。 requests.exceptions.SSLError は requests.exceptions.ConnectionError のサブクラスみたいですね。

jjj001

2021/06/18 08:42

ありがとうございます。 > requests.exceptions.SSLError は requests.exceptions.ConnectionError のサブクラスみたいですね。こちら、そうだったのですね。勉強になりました。

行動規範の内容に同意します

方法はないでしょう。

エラーハンドラは後で設定した方が先に例外を捕えます。

質問のコードでssl.CertificateErrorを捕捉しようとしても、その呼び出し先のsession.getが使っているライブラリがssl.CertificateErrorを捕捉するためのエラーハンドラを設定し、ssl.CertificateErrorを捕捉してしまいます。そして、メッセージを付けてrequests.exceptions.ConnectionErrorを送出しているのですから、ssl.CertificateErrorを捕捉を捕捉することはできません。

投稿2021/06/16 17:54