Thonny(Python)でアクセス先のソースを取得したい。

Question

よろしくお願いします。
python3.5使ってホームページのソースコードを表示させるプログラムを組もうと思っています。
ネットで調べて適当なサンプルを動かしてみたのですがエラーが出て動きません。

import urllib.request

import urllib.request
response = urllib.request.urlopen("https://www.yahoo.co.jp/")
result = response.read()
print(result)

>>> %Run getHTML.py
Traceback (most recent call last):
  File "C:\Thonny\lib\urllib\request.py", line 1318, in do_open
    encode_chunked=req.has_header('Transfer-encoding'))
  File "C:\Thonny\lib\http\client.py", line 1239, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "C:\Thonny\lib\http\client.py", line 1285, in _send_request
    self.endheaders(body, encode_chunked=encode_chunked)
  File "C:\Thonny\lib\http\client.py", line 1234, in endheaders
    self._send_output(message_body, encode_chunked=encode_chunked)
  File "C:\Thonny\lib\http\client.py", line 1026, in _send_output
    self.send(msg)
  File "C:\Thonny\lib\http\client.py", line 964, in send
    self.connect()
  File "C:\Thonny\lib\http\client.py", line 1392, in connect
    super().connect()
  File "C:\Thonny\lib\http\client.py", line 936, in connect
    (self.host,self.port), self.timeout, self.source_address)
  File "C:\Thonny\lib\socket.py", line 704, in create_connection
    for res in getaddrinfo(host, port, 0, SOCK_STREAM):
  File "C:\Thonny\lib\socket.py", line 743, in getaddrinfo
    for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
socket.gaierror: [Errno 11004] getaddrinfo failed

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\Users\xxxxx\Desktop\getHTML.py", line 4, in <module>
    response = urllib.request.urlopen("https://www.yahoo.co.jp/")
  File "C:\Thonny\lib\urllib\request.py", line 223, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Thonny\lib\urllib\request.py", line 526, in open
    response = self._open(req, data)
  File "C:\Thonny\lib\urllib\request.py", line 544, in _open
    '_open', req)
  File "C:\Thonny\lib\urllib\request.py", line 504, in _call_chain
    result = func(*args)
  File "C:\Thonny\lib\urllib\request.py", line 1361, in https_open
    context=self._context, check_hostname=self._check_hostname)
  File "C:\Thonny\lib\urllib\request.py", line 1320, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [Errno 11004] getaddrinfo failed>
>>> 

どうも社内のProxyが邪魔しているのではないかとおもっているのですが、
PROXYの設定方法がよくわからないので教えてください。

---

解決

社内プロキシのせいで通信が出来なかった事が原因でした。
HTTP_PROXYにプロキシアドレスを設定してみましたが上手くいかなかった。
なので以下の方法でProxyを設定してみた所、取りあえず取得する事が出来た。

import urllib.request

PROXIES = {
    'http' : 'http://proxy.example.co.jp:80080' # プロキシのアドレスを指定
}
proxy_handler = urllib.request.ProxyHandler(PROXIES)
opener = urllib.request.build_opener(proxy_handler)
data = opener.open('http://www.google.co.jp').read()
print(data)

コメントで教えて頂いたRequestsパッケージの導入方法については別件で質問しました(解決済)

Answer 1

Python2.7の事例ですが、こんな事例がありました。

Sphinxをインストールしようとしたら全然関係ないproxy周りでハマった話Add Star - kk_Atakaの日記

この記事によると

色々試行錯誤し、とりあえず環境を一回きれいにしてみようとHTTP_PROXYもクリアした状態でダメ元で実行してみた…らいけた…だと…。

ということなので、もしWindowsでしたら、こちらを試すのも一つかと。

---

もしくは、urllibはやや低いレイヤーのものなので、Requestsパッケージを使う方がよい気がします。

参考資料

• 21.6. urllib.request — URL を開くための拡張可能なライブラリ
• urllib パッケージを使ってインターネット上のリソースを取得するには

Comments

[KokoCoupon]

導入してみたのですが以下の様なエラーが出ます。
installが上手くいってないのだと思いますが何かパスの設定とか必要ですか？

----------------------------

import requests

res = requests.get('http://google.com/')
print(res.status_code) #=> 200

----------------------------

Python 3.6.1
>>> %cd 'C:\Users\usr\Desktop'
>>> %Run connect.py
Traceback (most recent call last):
File "C:\Users\usr\Desktop\connect.py", line 1, in <module>
import requests
ModuleNotFoundError: No module named 'requests'
>>>

[manzyun]

返信が遅れてすみません。
おそらく実行環境はSpyderだと思われますが、Python自体のインストール方法や、Requestsのインストール方法をお伝えいただけると幸いです。

[KokoCoupon]

返信おくれてすみません。
原因はやはり社内のプロキシが原因で通信が出来なかったようです。
Requestパッケージの方も社内プロキシ(とIDE)の問題でした。

修正は補足に追加しました。
本当にありがとうございます。