seleniumで、URLパラメータ付のリンク先のPDFをダウンロードしたい。

Question

実現したいこと

Seleniumでページ内の複数のリンク先のPDFファイルをダウンロードして、特定のフォルダに保存したい。

前提

Windows10 Anaconda Python3.8.18
selenium 3.14.1 (社内ネットワークだとver4以上にすると 「ConnectionResetError　(10054, '既存の接続はリモート ホストに強制的に切断されました。', None, 10054, None)」が出てしまう）

links = browser.find_elements_by_class_name('File')
でページ内のリンクを取得し
for link in links:
link.click()
によってdownloadにPDFが正しく保存されることは確認しました。この保存先をページごとに異なるフォルダにしたいのです。

linkはこのような表記です。
link = 'http://xxxxx.co.jp/xxxxxx/DownloadFile?FileId=xxxxxxxx&Title=xxxxxx-xx.pdf&FileKind=xxxxxx'

発生している問題・エラーメッセージ

requests.getでダウンロードを試みましたがresponse は<Response [502]>でした。

response = requests.get(link)
print(response)

<Response [502]>

linkにURLパラメータが付いているためではないかと思い、requestの仕方を変える必要があるかと思うのですが、見つけられませんでした。よろしくお願いいたします。

Comments

[otn]

そのPDFは、そのサイトにログインした状態でないとダウンロードできない物ですか？
それとも、そのサイトにログインしてないブラウザのアドレスバーにそのURLをコピペしても、ダウンロードできる物ですか？

[KENTATANAKA]

ログインした状態でしかダウンロードできません。

Answer 1

手元の環境は Python 3.12.3/Selenium 4.31.1/Chromedriver 128.0.6613.137 です。そちらは Selenium 3.14.1 とのことなので、以下のサンプルコードは適宜書き換える必要がありますが、想定する動作にはならないかもしれません。

この保存先をページごとに異なるフォルダにしたい

保存先のフォルダを selenium.webdriver.chromium.webdriver.ChromiumDriver.execute_cdp_cmd — Selenium 4.24.0 documentation で指定します。(コードでは適当に /path/to/download_?? としています) ダウンロードの完了については JavaScript で監視していて(browser.execute_script(...))、60秒でタイムアウトします。(WebDriverWait(browser, 60, 2).until(complete_every_downloads)) ダウンロード処理に時間が掛かる場合は、タイムアウト値を増やす必要があります。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def complete_every_downloads(browser):
    if not browser.current_url.startswith('chrome://downloads/'):
        browser.get('chrome://downloads/')
    return browser.execute_script("""
        items = document.querySelector('downloads-manager').shadowRoot.querySelector('#downloadsList').items;
        if (items.length == 0) return false;
        return items.every(e => e.state === 2);
    """)

options = Options()
options.add_experimental_option('prefs', {'plugins.always_open_pdf_externally': True})
browser = webdriver.Chrome(options=options)
browser.implicitly_wait(10)

urls = [
    'https://.../',
    'https://.../',
]

for i, url in enumerate(urls):
    browser.execute_cdp_cmd('Page.setDownloadBehavior', {
        'behavior': 'allow',
        'downloadPath': f'/path/to/download_{i:02d}'
    })

    browser.get(url)
    links = browser.find_elements(By.CLASS_NAME, 'File')
    for link in links:
        link.click()

    WebDriverWait(browser, 60, 2).until(complete_every_downloads)

browser.quit()

Comments

[KENTATANAKA]

Selenium 3.14.1 でも動作しました。とても助かりました。ありがとうございました。

Answer 2

ログインした状態でしかダウンロードできません。

単に requests.get(link) するとログインしてないので、駄目ですね。「python requests ログイン」で検索すると、ログインする方法の情報があります。requestsでログインできるなら、Selenium要らないかもしれません。

Selenumでやりたい場合だと、ブラウザ起動前にoptionsの設定でダウンロードディレクトリーを指定出来ますが、起動後に変更する手段はちょっと分かりません。

この保存先をページごとに異なるフォルダにしたいのです。

だと、
案1：ページ毎に、ダウンロード先を変更したdriver = webdriver.Chrome(options=options)をし直す。ページ数が多いと実行時間が掛かるが。
案2：ダウンロード後に、ダウンロード先のディレクトリーから希望のディレクトリーに移動する。ファイル名が分からないと「前回から増えたファイル」を調べることになるが、全体ロジックの流れは変えなくて良い。
案3：JavaScriptでなんとかする手段があるかも知れない。

Comments

[bsdfan]

案2と同じことを、「watchdog でダウンロード先を監視し、対象のファイルができたら移動する」というスクリプトを別で動かしておくやり方で、実現したことがあります。一つのスクリプトですべてやる必要がないなら、お試しください。

[KENTATANAKA]

otn　様
ご提案、ありがとうございます。
badfan 様
この方法でも動作しそうです。ありがとうございます。