SSL証明書の有無を取得したいが「証明書が無効」というエラー．証明書の有効性を判定しないようにする方法を知りたい．

Question

前提

プログラミング初心者です．
pythonで主にrequestライブラリ，BeautifulSoupライブラリを用いてWEBスクレイピングを作っています．
その中で，SSL証明書の有無を取得しようとしていますが，うまくいっていません．

質問

・下の方法で証明書の有無を確認することは可能か
・もし可能なのであれば，（証明書が無効であるURLを入力したときにNoneと返してもらいたいので）証明書の有効性を確かめないようにしたらいいのではと考えているので，それを実現するにはどのようにコードを修正すればよいか教えていただきたいです．

現状やったこと・コード内容・実行結果について

・getpeercert()を用いて証明書の有無の確認を試みました．公式ドキュメントによると，接続の相手側の証明書がない場合は None を返す関数ということで，Noneがかえってきたら証明書なし，それ以外はありと判別しようと考えました．

・このメソッドはSSLSocketオブジェクトに作用するとのことで，下に記載したコードの4～６行目でまずSSLSocketオブジェクトを作りました．これに対しgetpeercert()を用いて証明書の有無をcert_t，certに代入しました．（このあたりはあまり理解できていません，参考URLの二つ目のコードをコピペしました）

・これを実行すると，SSL証明書のあるURLだとエラーが発生せず証明書が返ってくるのですが，証明書のないURLで試すと以下のエラーがでてしまいます．「証明書が無効だ」という内容のエラーだと思うのですが，そもそも証明書の有効性を確かめるようなコードは書いていないのになぜこのようなエラーが出ているかわかりません．

エラー内容

SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate (_ssl.c:1129)

該当のソースコード

#SSLの取得

import socket
import ssl

def get_server_certificate(hostname):
    context = ssl.create_default_context() # デフォルトの設定を持つ新しい SSLContext オブジェクトを返します
    with socket.create_connection((hostname, 443)) as sock: # host と port で指定されたアドレスへの接続をオープン
        with context.wrap_socket(sock, server_hostname=hostname) as sslsock: 
            # 既存のPythonソケット(sock)をコンテキストでラップして、
            # SSLContext.sslsocket_classのインスタンス(デフォルトはSSLSocket)を返します。
            
            cert_t = sslsock.getpeercert(True)
            return (cert_t)
            

# cert = get_server_certificate('www.google.com') # SSL証明書のあるページのURL
cert = get_server_certificate('www.hibishippo.jp') # SSL証明書のないページのURL

cert

試したこと

ブラウザのディベロッパーツールに何かしらの方法でアクセスし、Securityのタブに「valid」の文章があるか判別する方法も検討しましたが，検索してもそういった方法を見つけることができませんでした。

補足情報（FW/ツールのバージョンなど）

Jupyter Notebookを使用しています．

参考にしたURL

・Python公式ドキュメント・getpeercert ()について:
https://docs.python.org/3/library/ssl.html#ssl.SSLSocket.getpeercert
・参考にしたコード
https://teratail.com/questions/269727

追記：改変したソースコード

「sslで接続を保ててかつ，証明書が有効期限内の場合にTrueを返し，sslで接続を保てない場合にFalseを返す」コードを書いてみたところ，欲しい結果を得ることができました．

import socket
import ssl
import OpenSSL

valid=False

def get_server_certificate(hostname):
    context = ssl.create_default_context()
    try:
        with socket.create_connection((hostname, 443)) as sock:
            with context.wrap_socket(sock, server_hostname=hostname) as sslsock:
                der_cert = sslsock.getpeercert(True)
                return ssl.DER_cert_to_PEM_cert(der_cert),True
    except:
        return 0,False
        
cert = get_server_certificate('qiita.com')

valid=cert[1]

if valid==True:
    x509 = OpenSSL.crypto.load_certificate(OpenSSL.crypto.FILETYPE_PEM, cert[0].encode('utf-8'))
    
    import datetime
    from datetime import datetime as dt
    not_before = dt.strptime(str(x509.get_notBefore())[2:16],'%Y%m%d%H%M%S') + datetime.timedelta(hours=9)
    not_after  = dt.strptime(str(x509.get_notAfter())[2:16],'%Y%m%d%H%M%S')  + datetime.timedelta(hours=9)
    print(not_after)

    period=not_after - dt.now()

    if period.days>0:
        valid=True
    else:
        valid=False
valid

Comments

[poto568]

目的は「SSL証明書の有無を取得」ですか？

そうではなくて「セキュリティはとりあえず無視して
とりあえずコンテンツが取得できれば良い」という
要件であれば
requests.get(url, verify=False)
でうまくいくかもしれません。

[bsdfan]

「SSL証明書の有無を取得」というのが、どういうことをやりたいのかがわかりにくいです。
そもそも証明書がなければ、サーバーはsslで接続を待てないので、sslで接続できるサーバーは、なんらかの証明書は(中身を問わなければ)絶対持っているはずなので、証明書が無いというのはどういう状況のことを言っているのでしょうか？
(クライアント側が証明書をもっていないことはよくあることですが)

[harunoyo]

poto568さん，ご返信いただきありがとうございます．
目的としては，厳密には「SSL証明書の有無を判定」できればおそらく十分です．
私は現在「指定されたレストラン予約サイトのページで店舗名，住所，．．．，およびSSL証明書の有無を取得しなさい」というスクレイピングの課題に取り組んでおり，指定されたページにはすべてSSL証明書があります．SSL証明書がなかった場合もコンテンツを取得するか否かについては指定されておらず，今のところは取得しない予定です．

昨晩からいろいろ試してみたのですが，「sslで接続を保ててかつ，証明書が有効期限内の場合にTrueを返し，sslで接続を保てない場合にFalseを返す」コードを書くことができ，無事解決しました．（質問の最後の「追記」の部分にコードを書きました）
ご協力いただきありがとうございました！

[harunoyo]

bsdfanさん，ご返信いただきありがとうございます．
私は現在「指定されたレストラン予約サイトのページで店舗名，住所，．．．，およびSSL証明書の有無を取得しなさい」というスクレイピングの課題に取り組んでおり，私自身もどういうことがやりたいのかあまり分かっていない状況です．
が，bsdfanさんの質問を読み，「sslで接続を保ててかつ，証明書が有効期限内の場合」と「sslで接続を保てない場合」を判別できればいいのではないかと思い，そのようなコードを書いてみました．そのコードで私が欲しい結果を得ることができ解決しました．（質問の最後の「追記」の部分にコードを書きました）
ご協力いただきありがとうございました！

[bsdfan]

解決できたならよかったですが、https で接続できるところが証明書ありで、http でしか接続できないところが証明書なしという風にとることもできそうで、課題が曖昧な気がしますね。

[harunoyo]

そうですよね…!シンプルにURLにhttpsがあるかどうかを調べるだけでも十分に思えますよね．どうやら課題が達成できれば方法は問わないような雰囲気なので，その方法もOKかもしれません．ありがとうございます．

Answer 1

import socket
import ssl
import OpenSSL

valid=False

def get_server_certificate(hostname):
context = ssl.create_default_context()
try:
with socket.create_connection((hostname, 443)) as sock:
with context.wrap_socket(sock, server_hostname=hostname) as sslsock:
der_cert = sslsock.getpeercert(True)
return ssl.DER_cert_to_PEM_cert(der_cert),True
except:
return 0,False

cert = get_server_certificate('qiita.com')

valid=cert[1]

if valid==True:
x509 = OpenSSL.crypto.load_certificate(OpenSSL.crypto.FILETYPE_PEM, cert[0].encode('utf-8'))

import datetime
from datetime import datetime as dt
not_before = dt.strptime(str(x509.get_notBefore())[2:16],'%Y%m%d%H%M%S') + datetime.timedelta(hours=9)
not_after  = dt.strptime(str(x509.get_notAfter())[2:16],'%Y%m%d%H%M%S')  + datetime.timedelta(hours=9)
print(not_after)

period=not_after - dt.now()

if period.days>0:
    valid=True
else:
    valid=False

valid

Answer 2

certificate verify failed: self signed certificate

証明書が無いわけではなくてオレオレ証明書だからですかね