webスクレイピングしようとするとurllib.error.URLError:と出る。

Question

以下のコードを実行するとエラーが出ます。
原因がわかりません。

該当のソースコード

import urllib.request
from bs4 import BeautifulSoup


class Scraper:
    def __init__(self, site):
        self.site = site

    def scrape(self):
        response = urllib.request.urlopen(self.site)
        html = response.read()
        soup = BeautifulSoup(html, 'html.parser')
        with open("output.txt", "w") as f:
            for tag in soup.find_all('a'):
                url = tag.get('href')
                if url and 'html' in url:
                    print("\n" + url)
                    f.write(url + "\n")

Scraper('https://news.google.com/').scrape()

上記のコードを実行すると以下のエラーが発生します。（長いです）

  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1317, in do_open
    encode_chunked=req.has_header('Transfer-encoding'))
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1229, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1275, in _send_request
    self.endheaders(body, encode_chunked=encode_chunked)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1224, in endheaders
    self._send_output(message_body, encode_chunked=encode_chunked)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1016, in _send_output
    self.send(msg)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 956, in send
    self.connect()
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1392, in connect
    server_hostname=server_hostname)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/ssl.py", line 412, in wrap_socket
    session=session
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/ssl.py", line 850, in _create
    self.do_handshake()
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/ssl.py", line 1108, in do_handshake
    self._sslobj.do_handshake()
ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1045)

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/Users/okuharasho/Documents/scraper.py", line 20, in <module>
    Scraper('https://news.google.com/').scrape()
  File "/Users/okuharasho/Documents/scraper.py", line 10, in scrape
    response = urllib.request.urlopen(self.site)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 525, in open
    response = self._open(req, data)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 543, in _open
    '_open', req)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 503, in _call_chain
    result = func(*args)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1360, in https_open
    context=self._context, check_hostname=self._check_hostname)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1045)>

試したこと

最後の方のurllib.error.URLError: 以降のエラーコードをググってみたところSSL認証？が降りない　ような事が言われていて、以下のコードを加えて実行したところ、確かにエラーコードは出ないのですがシェルになんの反応もありませんでした。
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

Comments

[hayataka2049]

output.txtに何か書き込まれていますか？　ファイルは作成されますか？　「シェルになんの反応もありませんでした。」はプログラムが終わって返ってくるのか、ずっと走ったままなのか、どちらですか？

[KWCOKuhara]

空のoutput.txtができていました。ファイルは作成されていないようです。シェルは============== RESTART:と表示され３秒〜５秒ほど経って＞＞＞とだけ表示されます。

[hayataka2049]

ふむ。ifの上でurlをprintするようにすると何かシェルにでてきたりはしませんか

[KWCOKuhara]

ifの下にあるコードをifの上に持ってくるという理解でよろしいでしょうか？そうしましても同じエラーが出てきてしまいました。。

Answer 1

1,OSはmacでしょうか？
「CERTIFICATE_VERIFY_FAILED」でググると未検証ですが以下の記事がHITしました。

macOS用公式インストーラーのPython 3.6でCERTIFICATE_VERIFY_FAILEDとなる問題

2,何も出力されない件について(※)

※取得できない原因
print(html)をすると分かるのです、コンテンツがJavaScriptになっています。
BeautifulSoupはJavaScriptを実行せずに、静的なHTMLタグを解析するため要素の取得ができません。

あとgoogleは機械的なAccessを規約により禁止しています、スクレイピングするならば他のサイトが良いでしょう。
URLをyahooに変更するとスクレイピングできるのでは。

Scraper('https://www.yahoo.co.jp').scrape()

Comments

[KWCOKuhara]

１で解決できました！ありがとうございます！