WEBからのPDFの保存

Question

前提・実現したいこと

観光庁のWEBページから、毎月公開されるPDFを自動でダウンロードし、フォルダに保存させたいと考えております。

現状はスケジュール機能は実装せず、「指定したURLからPDFをダウンロードしてファイルに保存」ということを
目標にしているのですが、どうも上手くいきません。

具体的には、print(tags)以下が実行されていないようです。

下記コードは
https://teratail.com/questions/197747

を参考にさせていただきました。
（もちろん上記URLに記載のコードの通り貼り付けるとうまくいくのですが、、）

お手数おかけいたしますが、アドバイスいただけると助かります。
ご教示のほどよろしくお願いいたします。

発生している問題・エラーメッセージ

[<a href="/jpn/statistics/data_info_listing/pdf/200415_monthly.pdf" target="_blank.....
とtagがprintされた状態となります。

該当のソースコード

import requests
from bs4 import BeautifulSoup
import urllib.request
from urllib.parse import urljoin
import re
import time

url = "https://www.jnto.go.jp/jpn/statistics/data_info_listing/index.html"
base = "https://www.jnto.go.jp/"
html = requests.get(url)
soup = BeautifulSoup(html.content, "html.parser")

div = soup.find("div", class_= "main_column_middle cf")
li = div.find_next("li")
tags = li.find_all_next("a")
print(tags)

headers = {"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0"}

for i in range(len(tags)):
    filepath = "{}.pdf".format(i)
    target = tags[i]["href"]
    if re.match(r"pdf", target):
        url_1 = urljoin(base, target)
        request = urllib.request.Request(url=url_1, headers=headers)
        with open(filepath, "wb") as f:
            f.write(urllib.request.urlopen(request).read())

Answer 1

re.match は

If zero or more characters at the beginning of string match the regular expression pattern, return a corresponding match object.

なので、target (目的の URL) が pdf で始まる場合だけマッチします。で、参考にした質問ではリンク先が pdf/019_00_01.pdf のように pdf/ で始まるためにマッチしますが、今回のリンク先はそうではないためにひとつもマッチしません。

とりあえず target を表示してみれば分かりますが、

a. /jpn/statistics/data_info_listing/pdf/200415_monthly.pdf
b. http://www.jnto.go.jp/jpn/downloads/120420_monthly.pdf

の 2 種類あるので、場合分けが必要でしょうね。

Comments

[YukiShinagawa]

お返事ありがとうございました。import os にすることで解決したものの、仰る通り場合分けができていないせいで、100枚以上ものPDFがダウンロードされてしまうため、場合分けが必要だと感じています。勉強しながらチャレンジしていきたいと思います。ありがとうございます！

[hoshi-takanori]

でしょうね。しかも、ファイル名が単なる連番なので、どのファイルが何なのか訳が分からなくなりそう。

Answer 2

tags = li.find_all_next("a")では全てのa要素を取得しリスト型を代入するので、print(tags)ではタグの一覧（リスト）が出力されます。
そのため、for文の中でtarget = tags[i]["href"]をしタグのhref属性（URL）を取得しているのだと思います。

上の方が仰っていた、re.matchに関することですがreではなく、osを使い

import os

#省略

for i in range(len(tags)):
    filepath = "{}.pdf".format(i)
    target = tags[i]["href"]
    if os.path.splitext(target)[1] == '.pdf':
        url_1 = urljoin(base, target)
        request = urllib.request.Request(url=url_1, headers=headers)
        with open(filepath, "wb") as f:
            f.write(urllib.request.urlopen(request).read())

とするのはいかがでしょうか。

Comments

[YukiShinagawa]

ありがとうございます！無事にダウンロードできました！頂いたコード、読み解いていきたいと思います。