Pythonを用いたスクレイピング中でのエラー

実現したいこと

エラーが発生せず、後の作業に影響を及ぼさないこと
(後の作業はまだ記述しておりません)
もし後続の作業に影響がないのであればその旨をお伝えいただければと思います。

前提

現在Pythonを用いてWebページのスクレイピングを行おうとしております。
スクレイピングの対象となるWebページのURLを指定しようとすると、以下のような
エラーが発生してしまいました。

発生している問題・エラーメッセージ

C:\python>python test.py

DevTools listening on ws://127.0.0.1:58013/devtools/browser/278b72d0-f7de-4c7c-ac75-e966d753a557
[******:******:0502/200058.861:ERROR:cert_issuer_source_aia.cc(34)] Error parsing cert retrieved from AIA (as DER):
ERROR: Couldn't read tbsCertificate as SEQUENCE
ERROR: Failed parsing Certificate

アスタリスクの箇所は、プログラム内の特定のスレッドのIDとプログラムのプロセスIDです。
セキュリティを考慮し、アスタリスクといたしました。

該当のソースコード

Python
1from selenium import webdriver
2from selenium.webdriver.chrome.service import Service
3
4driver = webdriver.Chrome()
5#driver.get('https://www.google.com/?hl=ja')
6driver.get('https://blog.codecamp.jp/python-scraping')
7

試したこと

他サイトのURLに変更して何度か試しましたが、
'https://www.google.com/?hl=ja'
をURLに指定した場合は問題ありませんでしたが、
他のサイトは同じようなエラーが発生してしまいました。

補足情報（FW/ツールのバージョンなど）

Python:3.11.3

otn

2023/05/02 14:18

証明書のエラーのようですが、そのブラウザを手動で起動して目的URLのページは表示できますか？なお、 > 実現したいこと > エラーが発生せず、後の作業に影響を及ぼさないこと実現したいことと言うのは、そのプロラムを開発することで実現したいこと、別の言い方で言うと、何の目的を持ってそのプログラムを開発しているかです。エラーが発生して困っている人が、エラーを解決したいのは当たり前です。

行動規範の内容に同意します

回答1件

このエラーメッセージは、PythonのSeleniumライブラリがChromeブラウザと通信する際に発生するもので、証明書の読み取りに失敗していることを示しています。具体的には、サイトにアクセスしようとしたときに、そのサイトのSSL証明書が正しく解析できなかったため、エラーが発生しています。

この問題を解決するためのいくつかの方法があります。

ChromeDriverのバージョンを確認する:
Seleniumが正しく動作するためには、ChromeDriverとChromeブラウザのバージョンが一致している必要があります。これらのバージョンが一致していない場合、このようなエラーが発生することがあります。ChromeDriverとChromeブラウザのバージョンを確認し、必要に応じてアップデートしてみてください。

ChromeDriverの設定を変更する:
ChromeDriverには、証明書エラーを無視するオプションがあります。このオプションを有効にすると、エラーを回避できる可能性があります。以下のように設定してみてください。

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument('--ignore-certificate-errors')

driver = webdriver.Chrome(options=options)
driver.get('https://blog.codecamp.jp/python-scraping')

SSL証明書の問題を修正する:
エラーメッセージが示している通り、SSL証明書に何らかの問題が存在する可能性があります。この問題は、Webサイトの管理者によって解決されるべきものです。問題が解決されるまで、そのWebサイトへのアクセスは避けることをお勧めします。
以上の方法でエラーが解決しない場合、追加の情報が必要となるかもしれません。その場合は、使用しているPython、Selenium、ChromeDriver、Chromeブラウザのバージョン情報を提供してください。

投稿2023/05/14 09:36