【Python,スクレイピング】HPからPDFファイルを保存する方法について

Question

前提・実現したいこと

経産省のHPから、PDFファイルを保存したい。

発生している問題・エラーメッセージ

[vagrant@localhost 20190627_scrayping_warkinggroup]$ python warkinggroup.py
Traceback (most recent call last):
File "warkinggroup.py", line 22, in <module>
urllib.request.urlretrieve(url_1, filepath)
File "/home/vagrant/.pyenv/versions/3.5.2/lib/python3.5/urllib/request.py", line 188, in urlretrieve
with contextlib.closing(urlopen(url, data)) as fp:
File "/home/vagrant/.pyenv/versions/3.5.2/lib/python3.5/urllib/request.py", line 163, in urlopen
return opener.open(url, data, timeout)
File "/home/vagrant/.pyenv/versions/3.5.2/lib/python3.5/urllib/request.py", line 472, in open
response = meth(req, response)
File "/home/vagrant/.pyenv/versions/3.5.2/lib/python3.5/urllib/request.py", line 582, in http_response
'http', request, response, code, msg, hdrs)
File "/home/vagrant/.pyenv/versions/3.5.2/lib/python3.5/urllib/request.py", line 510, in error
return self._call_chain(*args)
File "/home/vagrant/.pyenv/versions/3.5.2/lib/python3.5/urllib/request.py", line 444, in _call_chain
result = func(*args)
File "/home/vagrant/.pyenv/versions/3.5.2/lib/python3.5/urllib/request.py", line 590, in http_error_default
raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

該当のソースコード

import requests
from bs4 import BeautifulSoup
import urllib.request
from urllib.parse import urljoin
import re
import time

url = "https://www.meti.go.jp/shingikai/sankoshin/hoan_shohi/denryoku_anzen/019.html"
base = "https://www.meti.go.jp/shingikai/sankoshin/hoan_shohi/denryoku_anzen/"
html = requests.get(url)
soup = BeautifulSoup(html.content, "html.parser")

div = soup.find("div", class_= "main w1000")
li = div.find_next("li")
tags = li.find_all_next("a")

for i in range(len(tags)):
    filepath = "{}.pdf".format(i)
    target = tags[i]["href"]
    if re.match(r"pdf", target):
        url_1 = urljoin(base, target)
        urllib.request.urlretrieve(url_1, filepath)
        # print(target)
        # print(url_1)
        # time.sleep(1)

試したこと

最後のurllib.request.urlretrieve(url_1, filepath)をコメントアウトとし、

print(target)　# print(url_1)　をアンコメントするとしっかりprintされます。

baseの絶対パス表示がおかしいのかと考え、様々試しましたがなかなかうまくいきません。
また、time関数で相手のサーバーに負荷をかけないよう配慮して行ってもいかなかったので、
やはりurllib.request.urlretrieve(url_1, filepath)の部分もしくはその変数が間違いであるんだと思います。

補足情報（FW/ツールのバージョンなど）

Answer 1

結論

以下のように書き換えることで実行できました。

import requests
from bs4 import BeautifulSoup
import urllib.request
from urllib.parse import urljoin
import re
import time

url = "https://www.meti.go.jp/shingikai/sankoshin/hoan_shohi/denryoku_anzen/019.html"
base = "https://www.meti.go.jp/shingikai/sankoshin/hoan_shohi/denryoku_anzen/"
html = requests.get(url)
soup = BeautifulSoup(html.content, "html.parser")

div = soup.find("div", class_= "main w1000")
li = div.find_next("li")
tags = li.find_all_next("a")
print(tags)

headers = {"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0"}

for i in range(len(tags)):
    filepath = "{}.pdf".format(i)
    target = tags[i]["href"]
    if re.match(r"pdf", target):
        url_1 = urljoin(base, target)
        request = urllib.request.Request(url=url_1, headers=headers)
        with open(filepath, "wb") as f:
            f.write(urllib.request.urlopen(request).read())

diff

  import requests
  from bs4 import BeautifulSoup
  import urllib.request
  from urllib.parse import urljoin
  import re
  import time

  url = "https://www.meti.go.jp/shingikai/sankoshin/hoan_shohi/denryoku_anzen/019.html"
  base = "https://www.meti.go.jp/shingikai/sankoshin/hoan_shohi/denryoku_anzen/"
  html = requests.get(url)
  soup = BeautifulSoup(html.content, "html.parser")

  div = soup.find("div", class_= "main w1000")
  li = div.find_next("li")
  tags = li.find_all_next("a")

+ headers = {"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0"}

  for i in range(len(tags)):
      filepath = "{}.pdf".format(i)
      target = tags[i]["href"]
      if re.match(r"pdf", target):
          url_1 = urljoin(base, target)
+         request = urllib.request.Request(url=url_1, headers=headers)
+         with open(filepath, "wb") as f:
+             f.write(urllib.request.urlopen(request).read())
-         urllib.request.urlretrieve(url_1, filepath)
-         # print(target)
-         # print(url_1)
-         # time.sleep(1)

説明

リクエストの header に User-Agent が指定されていないことで403エラーが出ていました。
そこで、 header を指定するために urllib.request.urlretrieve ではなく urllib.request.urlopen を使うように変更し、開いたファイルを保存する処理を追加することで、正常に動作するようになると思います。

Comments

[yusyte]

ご回答いただきましてありがとうございます。
ご指摘いただいた通り修正したところ、無事実行できました。
r_takahama様の解説と、https://pc.atsuhiro-me.net/entry/2013/12/04/204505を参照して、
大変理解が深まりました。
user-Agentでアクセスを制限していることがあるのですね。。勉強になります。