PythonまたはpandasでURLリストが書いてある.txtで順番にWEBスクレイピングしてexcelに保存したいです。

Question

実現したいこと

PythonまたはpandasでURLリストが書いてある.txtで順番にWEBスクレイピングしてexcelに保存したいです。

1.目的のWEBページ(サンプル)
https://erogamescape.dyndns.org/~ap2/ero/toukei_kaiseki/game.php?game=3454

2.この中のPOV/属性/タグの表をスクレイピングする。

3.URLの最後xxxxxが次のように変化する。
https://erogamescape.dyndns.org/~ap2/ero/toukei_kaiseki/game.php?game=xxxxx

1 2 3 ... 30422

※数字のゼロ埋めはしない。(1は、00001ではなく1。)

4.C:python/id_list.txtを読み込み、スクレイピングする。
id_list.txtの中身
https://erogamescape.dyndns.org/~ap2/ero/toukei_kaiseki/game.php?game=1
https://erogamescape.dyndns.org/~ap2/ero/toukei_kaiseki/game.php?game=2
https://erogamescape.dyndns.org/~ap2/ero/toukei_kaiseki/game.php?game=3
.
.
.
https://erogamescape.dyndns.org/~ap2/ero/toukei_kaiseki/game.php?game=30422

5.現在の日時で、新しいフォルダー内にexcelで保存する。

試したこと

import openpyxl
import pandas as pd

url = 'https://erogamescape.dyndns.org/~ap2/ero/toukei_kaiseki/game.php?game=3454'
dfs = pd.read_html(url)
df = dfs[4]
print(df)

import datetime as dt
now = dt.datetime.now()

time = now.strftime('%Y%m%d-%H%M%S')

df.to_excel('~/desktop/新しいフォルダー/output_{}.xlsx'.format(time), index=False, header=False)

for文を書いたらいいのでしょうか？

Answer 1

pythonによるURLのスクレイピングは、正規表現を活用し【スクレイピング】正規表現を使用したスクレイピング
のように取得します。
そして、Excelのブックとして保存するには、PythonでExcel書き込みの記事のように、openpyxlモジュールを呼び出して操作します。