Pythonで、一括ダウンロードしたPDFが開けない

Question

実現したいこと

高専機構（国立高等専門学校機構）のWebサイトに、掲載されている入試過去問のPDFを、Pythonで一括でダウンロードしたい

発生している問題・分からないこと

コードを実行して、目的のファイルをすべてダウンロードできた。しかし、ダウンロードしたPDFを開いても正しく開けない。すべてのファイルが、同じ症状で開けない。

エラーメッセージ

Adobe Readerでは、以下のエラーメッセージが表示
・ファイルの種類がサポートされていないか、
　または、ファイルが破損している可能性があります。
・例えば、電子メールのっ添付文書として送信され、
　正しくデコードされなかったことなどが考えられます。

該当のソースコード

import requests
import os
import re

# ダウンロードするURL
url = "https://www.kosen-k.go.jp/exam/admissions/kosen_navi.html"

# ダウンロード先のパス
download_path = "d:\\"

# HTTP GETリクエストを送信し、HTMLを取得
response = requests.get(url)

# ファイルをダウンロードする関数
def download_file(file_url, file_path):
    try:
        with open(file_path, 'wb') as f:
            print("Downloading", file_url)
            f.write(requests.get(file_url).content)
            print("Download completed:", file_url)
    except Exception as e:
        print("Error downloading file:", file_url)
        print("Error message:", str(e))

# HTMLからPDFファイルのリンクを抽出し、ダウンロード
if response.status_code == 200:
    # ダウンロード先のパスが存在しない場合は作成
    os.makedirs(download_path, exist_ok=True)
    
    # HTMLからPDFファイルのリンクを抽出
    pdf_links = re.findall(r'href=[\'"]?([^\'" >]+)', response.text)
    
    # PDFファイルをダウンロード
    for link in pdf_links:
        if link.endswith('.pdf'):
            file_url = link
            file_name = os.path.basename(file_url)
            if "mondai.pdf" in file_name or "seikai.pdf" in file_name or "yousi.pdf" in file_name:
                file_path = os.path.join(download_path, file_name)
                download_file(file_url, file_path)
else:
    print("Failed to retrieve HTML content.")

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

「Python ダウンロード PDF 開けない エラー」と検索したが、見つけられなかった。

補足

特になし

Comments

[melian]

pdf_links = re.findall(r'href=[\'"]?([^\'" >]+)', response.text)

そもそもですが、対象の PDF ファイルの URL にスペースが入っていますので、上記の正規表現では URL の途中までしか抽出できず、結果として、

if link.endswith('.pdf'):

で False となるためダウンロードされるファイルは一つもない、という結果になっています。そちらの環境では当該の PDF ファイルをダウンロードできていますでしょうか？

[meg_]

> # HTMLからPDFファイルのリンクを抽出し、ダウンロード
上記リンクはちゃんと抽出できているか確認されましたか？

[caminoguy]

melian さん
「そちらの環境では当該の PDF ファイルをダウンロードできていますでしょうか？」

レスありがとうございます。
はい。
＞発生している問題・分からないこと
＞コードを実行して、目的のファイルをすべてダウンロードできた。
と、記載の通り、ダウンロードできております。

[caminoguy]

meg_さん

コメントありがとうございます。

「上記リンクはちゃんと抽出できているか確認されましたか？」について存じておらず、調べましたがよく理解できませんでした。もっと言うと、お問い合わせの趣旨も理解できておりません。

リンク抽出できているとは、どういう意味なのか、参考サイト等があれば教えていただけますでしょうか？

[melian]

例えば、以下の様な a 要素あって、".../upload-file folder/..." の箇所にスペースが入っています。

<a class="ml15" href="https://www.kosen-k.go.jp/Portals/0/upload-file folder/04_学務/admissions/2024/01_2024_kokugo_mondai.pdf" target="_blank">問題</a>

これを件の正規表現でマッチさせると、以下の様になります。

>>> re.findall(r'href=[\'"]?([^\'" >]+)', '<a class="ml15" href="https://www.kosen-k.go.jp/Portals/0/upload-file folder/04_学務/admissions/2024/01_2024_kokugo_mondai.pdf" target="_blank">問題</a>')
['https://www.kosen-k.go.jp/Portals/0/upload-file']

"/upload-file" で途切れてしまっています。他の PDF ファイルの URL も "https://../upload-file folder/.." となっていますので、その正規表現では抽出できない状況というわけです。
こちらで試してみても、対象の PDF はダウンロードされていません。

[caminoguy]

meg_さん

コメントありがとうございます。
「URLにスペースが入っているため、正規表現の問題で、対象のPDFがダウンロードできないのではないか？」というご指摘だと理解しましたが、合っていますでしょうか？

当方の環境では、当該URLにおいてダウンロード可能なPDFの全75ファイルは、すべて、ローカル環境にダウンロードできております。

但し、それらをAdobe Readerで開こうとすると、エラーが出て開けない
という状態です。

[meg_]

> 当方の環境では、当該URLにおいてダウンロード可能なPDFの全75ファイルは、すべて、ローカル環境にダウンロードできております。
質問のコードを実行したところでは、pdf_linksの中に「.pdf」で終わる文字列はありませんでした。
その75ファイルはどこかに移動して質問のコードを再度実行して確認いただけないでしょうか？

[bsdfan]

できたファイルのサイズはゼロではないのでしょうか？
ゼロでない場合は、エディタ等で中身を確認してみることをお勧めします。(なんらかのエラー表示がダウンロードされているのは、よくあるケースです → status_code のチェックをしましょう)

[8524ba23]

そのコードではダウンロードできません。

[caminoguy]

bsdfan さん

ダウンロードできた75個のファイルのファイルサイズは、すべて同じで、175KBでした。
ダウンロードしたファイルを、アドバイスのとおりエディタで開いてみたところ、中身はhtmlファイルでした。
このため、拡張子を、PDFからHTMLに変更して、ファイルを確認したところ、他のファイルも、同じ内容のHTMLとなっておりました（すべてを確認したわけではありません）。

[caminoguy]

meg_さん

コメントありがとうございます。
一度ダウンロードできたファイルを削除して、再度、質問のコードを実行したところ、75個のファイルがダウンロードできました。

但し、当方でダウンロードできたと思っていたPDFは、既述の通り、拡張子がPDFというだけで、中身はHTMLファイルでした

[meg_]

> 一度ダウンロードできたファイルを削除して、再度、質問のコードを実行したところ、75個のファイルがダウンロードできました。
同じコードを実行して結果が異なるというのは不思議な現象ですね。質問者さんの状況が当方で確認できないため残念ながらこれ以上検証できないです。

Answer 1

Python 3.11.6/requests 2.31.0 で実行して、対象の PDF ファイルが全てダウンロードされて正常に閲覧できていることを確認しています。

import requests
import os
import re
import sys
import traceback
from pathlib import Path
from urllib.request import urlretrieve
import urllib.parse

# ダウンロードするURL
url = "https://www.kosen-k.go.jp/exam/admissions/kosen_navi.html"

# ダウンロード先のパス
download_path = "d:\\"

# HTTP GETリクエストを送信し、HTMLを取得
try:
    response = requests.get(url)
    response.raise_for_status()
    response.encoding = response.apparent_encoding
except requests.exceptions.RequestException as e:
    print("Failed to retrieve HTML content.")
    traceback.print_exception(type(e), e, e.__traceback__)
    sys.exit(1)

# ダウンロード先のパスが存在しない場合は作成
os.makedirs(download_path, exist_ok=True)

# HTMLからPDFファイルのリンクを抽出し、ダウンロード
pdf_links = re.findall(r'href="(.+?\.pdf)"', response.text)
for url in pdf_links:
    file_name = Path(download_path).joinpath(Path(url).name)
    url = urllib.parse.quote(url, safe='/:')
    print("Downloading", url)
    try:
        urlretrieve(url, file_name)
        print("Download completed:", url)
    except Exception as e:
        print("Error downloading file:", url)
        traceback.print_exception(type(e), e, e.__traceback__)

Comments

[caminoguy]

回答ありがとうございます。
先ほど自席に戻り、試したところ、当方の環境でもダウンロードおよび閲覧が確認でき、問題が解決しました。

数行の修正でダウンロードできるようになると思っておりましたが、知らないライブラリが多数ありましたので、これから、コードを検証しながら精進したいと思います。

ベストアンサーに選ばせていただきました。