Python Seleniumにてページ遷移とPDF保存のループについて

Question

実現したいこと

ここに実現したいことを箇条書きで書いてください。

• 複数ページあるサイトの1ページ目を表示
• 最後のページを表示し、ページ数を取得
• 全ページの範囲でループ
• ループ内で印刷＞次のページへ
• 取得したPDFを１枚のPDFへ結合し、指定のフォルダへ保存
• 取得したPDFを削除

前提

Python Seleniumを使用して、上記工程を自動化しております。

ループ内でPDFを取得する過程において、指定フォルダに101枚のPDFが保存されると、
ページ遷移と印刷ダイアログは表示されるのですが、以降のPDFが保存されなくなります。

page
page(1)
page(2)
...
page(100)

というPDFまでが保存され、最後の結合でもページ数101枚のPDFが作成されます。
エラーは表示されず、処理終了となります。どこか不明な場所へ保存されているのではないかと思われます。

初心者でして、作法などあまり分かっておらず、お手柔らかにお願いできますと幸いです。

該当のソースコード

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
import time
import chromedriver_binary
import pickle
import json
import os
import random
import pypdf
import glob
import shutil


error_flg = False
options = Options()
options.add_argument('--kiosk-printing')

download = '/Users/me/Documents/pdfs' #保存先

target_url ='https://~~~?page=1' #アクセスするURL

#プリンタを自動で閉じる
appState = {
    "recentDestinations": [
        {
            "id": "Save as PDF",
            "origin": "local",
            "account": ""
        }
    ],
    "selectedDestinationId": "Save as PDF",
    "version": 2,
    "pageSize": 'A4'
}

options.add_experimental_option("prefs", {
    "printing.print_preview_sticky_settings.appState":
    json.dumps(appState),
    "savefile.default_directory" : download })

driver = webdriver.Chrome(options=options)

# 取得済みクッキーの読み込み・書き込み
if error_flg is False:
    try:
        driver.get(target_url)
        driver.delete_all_cookies()
        cookies = pickle.load(open("cookies.pkl", "rb"))
        for cookie in cookies:
            driver.add_cookie(cookie)
        # URLにアクセス
        driver.get(target_url)

        time.sleep(1)

    except Exception:
        print('取得済みクッキーの読み込み・書き込み時にエラーが発生しました。')
        error_flg = True

if error_flg is False:
    try:       
        　#タイトルの取得
        pdf_title = driver.find_element(by=By.CLASS_NAME,value='Info__title').text
           #最後のページへ移動
        move_tail = driver.find_element(by=By.ID,value="move-tail")
        move_tail.click()

           #最後のページの数値を取得
        cur_url = driver.current_url
        target = 'page='

        tail_idx = cur_url.find(target)
        tail_number = int(cur_url[tail_idx+len(target):])
           
        num = tail_number - 1　#処理する回数

        move_head = driver.find_element(by=By.ID,value="move-top")
        move_head.click()
    
        for _ in range(num):
            button = driver.find_element(by=By.ID,value='print')
            button.click()　#印刷

            time.sleep(1)

            next = driver.find_element(by=By.ID,value="move-next")
            next.click() #次のページへ

            time.sleep(1)

        driver.close()

    except Exception:
            print('PDF化中にエラーが発生しました。')
            error_flg = True

if error_flg is False:
    try:      
　　  #PDFを結合
        dir_path = "/Users/fukushimashun/Documents/pdfs/"

        def merge_pdf_in_dir(dir_path, dst_path):

            l = glob.glob(os.path.join(dir_path, '*.pdf'))
            l.sort()

            merger = pypdf.PdfMerger()
            for p in l:
                merger.append(p)

            merger.write(dst_path)
            merger.close()

        merge_pdf_in_dir('/Users/me/Documents/pdfs', f'/Users/me/Documents/outputs/{pdf_title}.pdf')

        #ファイル削除
        target_dir = '/Users/me/Documents/pdfs'

        shutil.rmtree(target_dir)
        os.mkdir(target_dir)

    except Exception:
            print('PDF結合処理中にエラーが発生しました。')
            error_flg = True

試したこと

chromeの更新とdriver再ダウンロード

補足情報（FW/ツールのバージョンなど）

chromeは118.0.5993.117
chrome driverは118.0.5993.70になっています。

Answer 1

<a href="zzz.zip">ZIP</a>というリンクを作って110回クリックしてみましたが、出来たファイル名は

zzz.zip
zzz (1).zip
中略
zzz (100).zip
zzz - 2023-10-31T180806.245.zip
zzz - 2023-10-31T180806.899.zip
後略

でした。
Chromeの仕様かWindowsの仕様か分かりませんが、102個目以降はネーミングルールが変わるようなので、それに合わせてプログラムを書けば良いかと思います。

あと、質問とは関係ないですが、try exceptで例外をキャッチしている物の、メッセージを出すだけで他に何もせずに以降の処理をスキップしているようです。こういう例外処理は百害あって一利無しなので、try exceptは全部削除しましょう。「害」とは詳細なエラーメッセージを出さなくしているので、例外発生の原因追及が出来ません。

プログラムの性質（利用目的）によりますが、try exceptは、あらかじめ想定している例外発生時に、あらかじめ想定している処理を行うことで例外に対するリカバリー処理をする為に使います。想定していない例外はキャッチせずに標準のエラーメッセージを出すのが良いです。
（お客さん的なユーザーが使うプログラムだと、想定外の例外でも何らかのリカバリーが必要になるケースもありますが）

Comments

[fukushima_ekubo]

otn様
ご回答ありがとうございます。

>>Chromeの仕様かWindowsの仕様か分かりませんが、102個目以降はネーミングルールが変わるようなので、それに合わせてプログラムを書けば良いかと思います。

理解しました。ありがとうございます。
ただ、今回印刷ダイアログを自動で閉じているため、別名をつけて保存ができず、ネーミングの方向性が分かりかねております。。
もしこうすればできるよ、などコードでなくても構いませんので、ご教示いただけませんでしょうか。
何卒よろしくお願いいたします。

[otn]

> ただ、今回印刷ダイアログを自動で閉じているため、別名をつけて保存ができず、
別名を付けて保存？何故そんなことを？

ファイル名に時刻が付いているので、sorted(glob.glob("zzz - 20??-??-??T??????.???.zip"))と、
globでで一覧を得て、sorted で時刻順（実際にやっているのはファイル名順ですが）に並べます。

[fukushima_ekubo]

ありがとうございます。

以降も試してみましたが、102個目以降のファイルが保存されず、ファイル名うんぬんにたどり着けておりません。。
当方はmacを使用しておりますが、本現象について調べる方法はあるのでしょうか？

[otn]

そもそも保存すらされていないのですね。zzz (100).zipまでが存在する状態で、手動で保存ダイアログを出すと、ファイル名欄はどうなっていますか？