質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

Q&A

解決済

1回答

780閲覧

Python3.6にて、urlopenがルート証明証エラーとなる件に関して

gyungyun545

総合スコア84

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

0グッド

0クリップ

投稿2017/12/06 13:29

PythonにてUrlopenを実行しましたが、エラーとなります。
メッセージの内容から、下記のリンク先の事象と同様ルート証明書がないためだと思われます。
https://qiita.com/orangain/items/0a641d980019fd7e0c52

しかし、インストーラーを使わず、Homebrewを使ったインストールを行っているため、
上の解決先の下記のコマンドが実行できないです。
$ /Applications/Python\ 3.6/Install\ Certificates.command

このフォルダに格納されるのは、インストーラを使った場合のみの場合みたいで、以下のようなエラーが発生します。
/Applications/Python\ 3.6/Install\ Certificates.command

どのように解決すれば良いのでしょうか?
ヒントでもいただけると非常に助かります。

環境:
MacOS 10.13.1
Python3.6.3

実行プログラム:
import urllib.request as url
f = url.urlopen('https://gihyo.jp/dp')
type(f)
f.read()

メッセージ:
/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/bin/python3.6 /Users/gyungyun545/Work/scraping/env/scraping/urljikken.py
Traceback (most recent call last):
File "/Users/gyungyun545/Work/scraping/env/scraping/urljikken.py", line 2, in <module>
f = url.urlopen('https://gihyo.jp/dp')
File "/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/lib/python3.6/urllib/request.py", line 223, in urlopen
return opener.open(url, data, timeout)
File "/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/lib/python3.6/urllib/request.py", line 532, in open
response = meth(req, response)
File "/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/lib/python3.6/urllib/request.py", line 642, in http_response
'http', request, response, code, msg, hdrs)
File "/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/lib/python3.6/urllib/request.py", line 570, in error
return self._call_chain(*args)
File "/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/lib/python3.6/urllib/request.py", line 504, in _call_chain
result = func(*args)
File "/usr/local/Cellar/python3/3.6.3/Frameworks/Python.framework/Versions/3.6/lib/python3.6/urllib/request.py", line 650, in http_error_default
raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

Process finished with exit code 1

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

すみません、自己解決しました。
原因は、ルート証明書ではなくて、HTTP Error 403: Forbiddenでした。
ユーザエージェントの問題でした。

https://ja.stackoverflow.com/questions/27922/python3でwebスクレイピングしたいのですが存在するurlが開けません

以下のソースに直すと見れました。
ソース:
import urllib.request

url = "https://gihyo.jp/dp"
headers = {
"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0",
}

request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
html = response.read().decode('utf-8')
print(html)

投稿2017/12/06 22:18

gyungyun545

総合スコア84

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問