指定した条件に合ったPDFのみWEBからダウンロード（Python）

Question

前提・実現したいこと

特定のWEBページから条件にマッチしたファイルのみ保存したいです。

スクレイピングで下記URL（関西空港HP）から、
http://www.kansai-airports.co.jp/news/2020/

毎月公開される「関西国際空港・大阪国際空港・神戸空港 2020年●月利用状況」のPDFをダウンロード
したいと思いプログラムを作成しましたが、条件設定ができていないため、
現在は上記URLに表示されるPDFすべて（3種）をダウンロードしてしまいます。

「関西国際空港・大阪国際空港・神戸空港 2020年●月利用状況」
（http://www.kansai-airports.co.jp/news/2020/2807/J_TrafficReport_●●●●2020.pdf）
だけをダウンロードするには、URLの文字指定などが必要かと思いますがどのように行うべきでしょうか？

来月以降も"J_TrafficReport_"は含まれることが想定されるため、
例えば、URLに"J_TrafficReport_”が含まれているファイルのみという指定をかけたいと考えています。

一通り調べてみたのですが、解決せず、ご教示いただけますと幸いです。
よろしくお願いいたします。

該当のソースコード

import requests
from bs4 import BeautifulSoup
import urllib.request
from urllib.parse import urljoin
import os
import time

url = "http://www.kansai-airports.co.jp/news/2020/"
base = "http://www.kansai-airports.co.jp/news/2020/"
html = requests.get(url)
soup = BeautifulSoup(html.content, "html.parser")

div = soup.find("div", class_= "contentsType02")
li = div.find_next("li")
tags = li.find_all_next("a")
print(tags)

headers = {"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0"}

for i in range(len(tags)):
    filepath = "{}.pdf".format(i)
    target = tags[i]["href"]
    if os.path.splitext(target)[1] == '.pdf':
        #os.path.splitext関数は、pathをbase（拡張子以外の部分）とext（ピリオドを含む拡張子）に分割
        url_1 = urljoin(base, target)
        request = urllib.request.Request(url=url_1, headers=headers)
        with open(filepath, "wb") as f:
            f.write(urllib.request.urlopen(request).read())

Answer 1

beautifulsoupでスクレイピングするときに正規表現が使えます
ファイルが少ないので2019にしています

import re
from urllib.parse import urljoin
import pathlib

import requests
from bs4 import BeautifulSoup

url = "http://www.kansai-airports.co.jp/news/2019/"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko",
}

r = requests.get(url, headers=headers)

r.raise_for_status()

soup = BeautifulSoup(r.content, "html5lib")

for i in soup.find("ul", class_="ul_list04").find_all(
    "a", text=re.compile("^関西国際空港・大阪国際空港・神戸空港.+月利用状況$"), href=re.compile(".pdf$")
):
    link = urljoin(url, i.get("href"))

    pdf = requests.get(link, headers=headers)

    p = pathlib.Path(pathlib.PurePath(link).name)

    with p.open(mode="wb") as f:
        f.write(pdf.content)

Comments

[YukiShinagawa]

1点、質問させてください。
p = pathlib.Path(pathlib.PurePath(link).name)

はどういう意味を持っていますでしょうか？
DLしたPDFを指定したフォルダに保存する方法を調べている中で疑問に思いました。

[barobaro]

pathlib
https://docs.python.org/ja/3/library/pathlib.html

pathlib.PurePath(link).nameはos.path.basename()と同じでファイル名を取得しています

Answer 2

省略
for i in range(len(tags)):
    filepath = "{}.pdf".format(i)
    target = tags[i]["href"]
    if "J_TrafficReport_" in os.path.splitext(target)[0] and os.path.splitext(target)[1] == '.pdf':
        #os.path.splitext関数は、pathをbase（拡張子以外の部分）とext（ピリオドを含む拡張子）に分割
        url_1 = urljoin(base, target)
        request = urllib.request.Request(url=url_1, headers=headers)
        with open(filepath, "wb") as f:
            f.write(urllib.request.urlopen(request).read())

これでどうでしょうか。
in演算子はその文字列が含まれているかを調べることができます。
こちらのサイトが分かりやすいと思います。

任意の文字列を含むか判定: in演算子

文字列の中に任意の文字列が含まれているか判定・確認するにはin演算子を使う。含まれているとTrue、含まれていないとFalseを返す。
大文字小文字は区別される（以降で説明する文字列のメソッドでも同様）。

正規表現を使ってもできますが、モジュールをimportしなければいけないことなど、少し面倒なところがあると思ったので、inを使いました。
正規表現の方が良い場合は、コメントいただければ幸いです。

正規表現の方法（追記１）

import os
import re
省略
for i in range(len(tags)):
    filepath = "{}.pdf".format(i)
    target = tags[i]["href"]
    if re.match(r'J_TrafficReport_(.+).pdf',os.path.basename(target)):
        url_1 = urljoin(base, target)
        request = urllib.request.Request(url=url_1, headers=headers)
        with open(filepath, "wb") as f:
            f.write(urllib.request.urlopen(request).read())

参考にさせていただいたサイト

Pythonでパス文字列からファイル名・フォルダ名・拡張子を取得、結合

ファイル名を取得: os.path.basename()

パス文字列からファイル名を取得するにはos.path.basename()を使う。

書きながら覚えよう！Pythonで正規表現を使う方法【初心者向け】
Pythonの正規表現マッチオブジェクトでマッチした文字列や位置を取得

ブール値としての扱い（if文での使い方）

マッチオブジェクトはブール値として判定される場合は常にTrueとして扱われる。

Comments

[YukiShinagawa]

この度もご回答いただきありがとうございました。無事に目的のPDFのみ抽出できました。
もし可能であれば、正規表現パターンもご教示いただきたいです。

というのも、昨日質問させていただいた観光庁HPのPDFは
https://www.jnto.go.jp/jpn/statistics/data_info_listing/pdf/200415_monthly.pdf

と、「20***」「_monthly.pdf」という間がとんだ形で指定をかけたいと考えております。
（おそらく他のWEBページでも同様の案件が出てきそうなので。。）

import re を行った上で
文字を飛ばすところ（上記例でいくと0415）はドットで表現するという
ところまでは調べたのですが、どうも上手くいかず、、
ご教示いただけますと幸いです。

[glyzinieh]

追記しました。

Answer 3

以下のようなコードで、文字列に特定の文字列が含まれているかをチェックできますよ。

if "J_TrafficReport_” in target:

Comments

[YukiShinagawa]

早速のご回答ありがとうございました！１つの問題を解決するにも様々な方法があるんですね！
勉強させていただきます。