質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.53%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

1回答

15389閲覧

webスクレイピングしようとするとurllib.error.URLError:と出る。

KWCOKuhara

総合スコア11

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2018/08/10 10:32

編集2018/08/10 10:34

以下のコードを実行するとエラーが出ます。
原因がわかりません。

該当のソースコード

import urllib.request from bs4 import BeautifulSoup class Scraper: def __init__(self, site): self.site = site def scrape(self): response = urllib.request.urlopen(self.site) html = response.read() soup = BeautifulSoup(html, 'html.parser') with open("output.txt", "w") as f: for tag in soup.find_all('a'): url = tag.get('href') if url and 'html' in url: print("\n" + url) f.write(url + "\n") Scraper('https://news.google.com/').scrape()

上記のコードを実行すると以下のエラーが発生します。(長いです)

Python3.7.Traceback

1 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1317, in do_open 2 encode_chunked=req.has_header('Transfer-encoding')) 3 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1229, in request 4 self._send_request(method, url, body, headers, encode_chunked) 5 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1275, in _send_request 6 self.endheaders(body, encode_chunked=encode_chunked) 7 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1224, in endheaders 8 self._send_output(message_body, encode_chunked=encode_chunked) 9 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1016, in _send_output 10 self.send(msg) 11 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 956, in send 12 self.connect() 13 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/http/client.py", line 1392, in connect 14 server_hostname=server_hostname) 15 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/ssl.py", line 412, in wrap_socket 16 session=session 17 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/ssl.py", line 850, in _create 18 self.do_handshake() 19 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/ssl.py", line 1108, in do_handshake 20 self._sslobj.do_handshake() 21ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1045) 22 23During handling of the above exception, another exception occurred: 24 25Traceback (most recent call last): 26 File "/Users/okuharasho/Documents/scraper.py", line 20, in <module> 27 Scraper('https://news.google.com/').scrape() 28 File "/Users/okuharasho/Documents/scraper.py", line 10, in scrape 29 response = urllib.request.urlopen(self.site) 30 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 222, in urlopen 31 return opener.open(url, data, timeout) 32 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 525, in open 33 response = self._open(req, data) 34 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 543, in _open 35 '_open', req) 36 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 503, in _call_chain 37 result = func(*args) 38 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1360, in https_open 39 context=self._context, check_hostname=self._check_hostname) 40 File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open 41 raise URLError(err) 42urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1045)> 43

試したこと

最後の方のurllib.error.URLError: 以降のエラーコードをググってみたところSSL認証?が降りない ような事が言われていて、以下のコードを加えて実行したところ、確かにエラーコードは出ないのですがシェルになんの反応もありませんでした。
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

hayataka2049

2018/08/10 10:40 編集

output.txtに何か書き込まれていますか? ファイルは作成されますか? 「シェルになんの反応もありませんでした。」はプログラムが終わって返ってくるのか、ずっと走ったままなのか、どちらですか?
KWCOKuhara

2018/08/10 10:48

空のoutput.txtができていました。ファイルは作成されていないようです。シェルは============== RESTART:と表示され3秒〜5秒ほど経って>>>とだけ表示されます。
hayataka2049

2018/08/10 10:54

ふむ。ifの上でurlをprintするようにすると何かシェルにでてきたりはしませんか
KWCOKuhara

2018/08/10 11:17

ifの下にあるコードをifの上に持ってくるという理解でよろしいでしょうか?そうしましても同じエラーが出てきてしまいました。。
guest

回答1

0

ベストアンサー

1,OSはmacでしょうか?
「CERTIFICATE_VERIFY_FAILED」でググると未検証ですが以下の記事がHITしました。

macOS用公式インストーラーのPython 3.6でCERTIFICATE_VERIFY_FAILEDとなる問題

2,何も出力されない件について(※)

※取得できない原因 print(html)をすると分かるのです、コンテンツがJavaScriptになっています。 BeautifulSoupはJavaScriptを実行せずに、静的なHTMLタグを解析するため要素の取得ができません。

あとgoogleは機械的なAccessを規約により禁止しています、スクレイピングするならば他のサイトが良いでしょう。
URLをyahooに変更するとスクレイピングできるのでは。

Python

1Scraper('https://www.yahoo.co.jp').scrape()

投稿2018/08/10 21:52

編集2018/08/10 22:41
umyu

総合スコア5846

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

KWCOKuhara

2018/08/11 03:36

1で解決できました!ありがとうございます!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.53%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問