Python Selenium 複数ページにまたがる資産情報を一つのCSVへ出力したい

Question

前提・実現したいこと

PythonへSeleniumを導入？し資産ツールサイトへ自動ログインした後、
複数ページにまたがった資産情報(テーブル形式)をひとつのCSVファイルへ出力しようと思っています。
（資産ツールに標準の出力機能が無いため）

ひとつのページのみではうまくCSVファイルが出力できますが、
ページを遷移して同じような処理を行おうとすると上書きされてうまくいきません。

リンクが全て紫になるくらい調べましたが分からないのでどうか、教えてください。

発生している問題・エラーメッセージ

今のところエラーは発生しておりません。
強いて言うならUSBデバイスが認識されませんというようなエラーがでますが
処理は問題なく進んでおり、調べたところ無視してもいいエラーのようでした。

該当のソースコード

from time import sleep
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
import os
import csv
import datetime

～～～～～～～～～～～～～～～～～～～～～～～～～～
サイトへのアクセス、自動ログインの省略
～～～～～～～～～～～～～～～～～～～～～～～～～～

#デバイスのURLを開き画面表示を待つ
driver.get(device_url_1)
sleep(1)


#名前でソート
driver.find_element_by_xpath('//*[@id="devices_table"]/thead/tr/th[2]').click()
sleep(1)

# 資産一覧テーブル取得
html = driver.page_source
soup = BeautifulSoup(html, "html.parser")
table = soup.find(id="devices_table")
tr_list = table.find_all("tr")

# CSV出力用データ1
data = []

for i, tr in enumerate(tr_list):
    row_data = []

    if i == 0:
        # ヘッダー行の処理
        row_data.extend(["名前", "グループ", "OSタイプ", "プラットフォームタイプ", "OSバージョン", "シリアル番号", "IPアドレス", "最終チェックイン"])
        data.append(row_data)
        continue

    # td要素取得
    td_list = tr.find_all("td")

    # 名前
    row_data.append(td_list[1].text.strip())
    # グループ
    row_data.append(td_list[9].text.strip())
    # OSタイプ
    row_data.append(td_list[3].text.strip())
    # プラットフォームタイプ
    row_data.append(td_list[4].text.strip())
    # OSバージョン
    row_data.append(td_list[5].text.strip())
    # シリアル番号
    row_data.append(td_list[6].text.strip())
    # IPアドレス
    row_data.append(td_list[7].text.strip())
    # 最終チェックイン
    row_data.append(td_list[10].text.strip())

#2ページ目
driver.get(device_url_2)
sleep(1)

# 資産一覧テーブル取得
html = driver.page_source
soup = BeautifulSoup(html, "html.parser")
table = soup.find(id="devices_table")
tr_list = table.find_all("tr")

    # td要素取得
    td_list = tr.find_all("td")

    # 名前
    row_data.append(td_list[1].text.strip())
    # グループ
    row_data.append(td_list[9].text.strip())
    # OSタイプ
    row_data.append(td_list[3].text.strip())
    # プラットフォームタイプ
    row_data.append(td_list[4].text.strip())
    # OSバージョン
    row_data.append(td_list[5].text.strip())
    # シリアル番号
    row_data.append(td_list[6].text.strip())
    # IPアドレス
    row_data.append(td_list[7].text.strip())
    # 最終チェックイン
    row_data.append(td_list[10].text.strip())




    #最終的な書き出し
    data.append(row_data)



# ダウンロード先＆ファイル名
csv_date = datetime.datetime.today().strftime("%Y%m%d")
csv_file_name = "ThinClient_Device" + csv_date + ".csv"

if os.path.exists(csv_file_name):
    # ファイルが存在する時は削除
    os.remove(csv_file_name)

# CSVファイルに書き出し
with open(csv_file_name, 'a') as file:
    w = csv.writer(file, lineterminator='\n')
    w.writerows(data)
    file.close()

試したこと

調べても同じような記事が無いため、ページ遷移と同じような処理を行おうとしました。
本当に初心者過ぎて分からないことが分からないといった感じです…。すみません…。

ページ遷移の仕方ももう少しありそうです。
https://～～～/devices#page/1
https://～～～/devices#page/2
https://～～～/devices#page/3
・・・というページ構成です。

device_url = "https://~~~/devices#page/1 + 1"
という風に入力すれば出来ると思ったのですができませんでした。
記述の方法がもっとありそうです…。

こんな説明で分かりづらいと思いますがどうか教えてください…。

補足情報（FW/ツールのバージョンなど）

Windows10
Python 3.9
Google Chrome 92.0.4515.159
webdriver Ver.92

Comments

[otn]

質問文章と、コードの関係が分かりません。

> ひとつのページのみではうまくCSVファイルが出力できますが、
これはコードのどの部分のことを言っていますか？

> ページを遷移して同じような処理を行おうとすると
これはコードのどの部分のことを言っていますか？

前半のforループでは、変数dataに、ヘッダ行しか入れてませんが、row_dataは捨ててしまって良いのでしょうか？

[ohtaisan]

>> ひとつのページのみではうまくCSVファイルが出力できますが、
>これはコードのどの部分のことを言っていますか？
最初から#2ページ目までのコードです。

>> ページを遷移して同じような処理を行おうとすると
>これはコードのどの部分のことを言っていますか？
#2ページ目からの処理です。

本当に初心者すぎて何もわからずコピペしただけでこの処理がどういう動きをして…というのが分かっておりません。
特にfor文あたりです。

[otn]

> 何もわからずコピペしただけでこの処理がどういう動きをして

ではまず、読んで理解しましょう。基礎力が不足しているのならば入門書で学びましょう。

[ohtaisan]

ありがとうございます！
プログラミングすらしたことなくて、pythonを本格的に使用することがあるかは分かりませんがちょっとだけ勉強してみます！

Answer 1

device_urlの値を順番に処理していきたい、ということでしょうか？

MAX_PAGE = 10 # とりあえず
for n in range(1, MAX_PAGE):
  device_url=f'https://～～～/devices#page/{n}'
  driver.get(device_url)

こういうことでしょうか?

Comments

[ohtaisan]

うおおおおおおおお！！
まさにそのようなことです！！！

ただ…知識が無さ過ぎてどこにハメればいいか分かりません…。
とりあえずfor文の勉強をしてみようと思います。