質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

解決済

webスクレイピングしようとするとurllib.error.URLError:と出る。

KWCOKuhara
KWCOKuhara

総合スコア11

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

1回答

0評価

0クリップ

12009閲覧

投稿2018/08/10 10:32

編集2018/08/10 10:34

以下のコードを実行するとエラーが出ます。
原因がわかりません。

該当のソースコード

import urllib.request from bs4 import BeautifulSoup class Scraper: def __init__(self, site): self.site = site def scrape(self): response = urllib.request.urlopen(self.site) html = response.read() soup = BeautifulSoup(html, 'html.parser') with open("output.txt", "w") as f: for tag in soup.find_all('a'): url = tag.get('href') if url and 'html' in url: print("\n" + url) f.write(url + "\n") Scraper('https://news.google.com/').scrape()

上記のコードを実行すると以下のエラーが発生します。(長いです)

Python3.7.Traceback

File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1317, in do_open encode_chunked=req.has_header('Transfer-encoding')) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1229, in request self._send_request(method, url, body, headers, encode_chunked) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1275, in _send_request self.endheaders(body, encode_chunked=encode_chunked) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1224, in endheaders self._send_output(message_body, encode_chunked=encode_chunked) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1016, in _send_output self.send(msg) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 956, in send self.connect() File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1392, in connect server_hostname=server_hostname) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/ssl.py", line 412, in wrap_socket session=session File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/ssl.py", line 850, in _create self.do_handshake() File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/ssl.py", line 1108, in do_handshake self._sslobj.do_handshake() ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1045) During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/Users/okuharasho/Documents/scraper.py", line 20, in <module> Scraper('https://news.google.com/').scrape() File "/Users/okuharasho/Documents/scraper.py", line 10, in scrape response = urllib.request.urlopen(self.site) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 222, in urlopen return opener.open(url, data, timeout) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 525, in open response = self._open(req, data) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 543, in _open '_open', req) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 503, in _call_chain result = func(*args) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1360, in https_open context=self._context, check_hostname=self._check_hostname) File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open raise URLError(err) urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1045)>

試したこと

最後の方のurllib.error.URLError: 以降のエラーコードをググってみたところSSL認証?が降りない ような事が言われていて、以下のコードを加えて実行したところ、確かにエラーコードは出ないのですがシェルになんの反応もありませんでした。
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

hayataka2049

2018/08/10 10:40 編集

output.txtに何か書き込まれていますか? ファイルは作成されますか? 「シェルになんの反応もありませんでした。」はプログラムが終わって返ってくるのか、ずっと走ったままなのか、どちらですか?
KWCOKuhara

2018/08/10 10:48

空のoutput.txtができていました。ファイルは作成されていないようです。シェルは============== RESTART:と表示され3秒〜5秒ほど経って>>>とだけ表示されます。
hayataka2049

2018/08/10 10:54

ふむ。ifの上でurlをprintするようにすると何かシェルにでてきたりはしませんか
KWCOKuhara

2018/08/10 11:17

ifの下にあるコードをifの上に持ってくるという理解でよろしいでしょうか?そうしましても同じエラーが出てきてしまいました。。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。