ダウンロードしたPDFの中身が無い

Question

windows 10
python 3.12.3
selenium 4.21.0
webdriver-manager 4.0.1
requests 2.32.2
beautifulsoup4 4.12.3
です。

クレジットの明細のPDFをスクレイピングでダウンロードしようとしてます。

なんとかダウンロードまでこぎ着け、指定のフォルダにPDFを保存できるようにはなったのですが、PDFの中身が空なのです。

PDFをダウンロードするところはボタンになってまして、押したら即ダウンロード、みたいな感じになってます。

ダウンロードするところまでは無事動いているので、ダウンロードして書き込むところのコードをのせます。

for filename, url in zip(d_list_filename, d_list_url):
    sleep(5)
    driver.get(url)
    pdf_url = driver.find_element(By.CSS_SELECTOR, "a#j_idt834").get_attribute("href")
    

    # r2 = requests.get(url)
    # r2.raise_for_status()
    # soup2 = BeautifulSoup(r2.content, "lxml")
    # pdf_url = pdf_base_url + soup2.select_one("a#j_idt834").get("href")


    print(filename, pdf_url)
    sleep(3)
    pdf_file = requests.get(pdf_url)
    pdf_file.raise_for_status()

    pdf_path = Path(f"{meisai_path}\{filename}meisai.pdf")

    with open(pdf_path, mode="wb") as f:
        f.write(pdf_file.content)

コメントアウトしてるところは、requestsでとりにいったらエラーが出た部分です。
なのでseleniumで取りに行ったらできました。

認証とかに問題があるんでしょうか？？
headersに認証の何か設定をして、
requests.get(pdf_url, headers=headers)みたいにすべきなのでしょうか？？

宜しくお願いします。

Comments

[8524ba23]

https://teratail.com/help/question-tips#questionTips35
https://teratail.com/help/question-tips#questionTips36
https://teratail.com/help/question-tips
は読みましたか？
読んだ結果を本文に反映ください。解決のヒントを探れるかもしれません。

Answer 1

恐らくダウンロードURLを表示した時と同様のブラウザやCookieなどでアクセスしないと、PDFがダウンロード出来ないようになっているのかと思います。
そのようにしないと、URLが分かれば誰でもデータをダウンロード出来てしまうことになるためです。
お金に関するデータはログインと似たような処理がダウンロード部分にも入っていることが多いです。

このケースの場合だとダウンロードして保存するところまでseleniumでやった方が早いかもしれません。

Comments

[kuwa777]

回答ありがとうございます。

僕もそう思います。
だからrequestsでエラーが出たんだと思います。

seleniumの.click()でダウンロード自体はできました。
ですがフォルダの指定をしたかったのでrequestsで頑張ろうと思いましたが無理でした。

最終的にはウィンドウとマウスの制御でゴリゴリやってできました。