for文を用いたスクレイピングのやり方

Question

環境　Win10 Python3.6
一定の規則性があるデータのURLを一括で取得して、自分のPCに保存したいと考えております。具体的には、ある特定のURLからデータを取得するコード

import urllib.request
pref = "13"
filenum = "009"
url="http://…000007947392…"
outputpath = "./{}_{}.csv".format(filenum, pref)

urllib.request.urlretrieve(url, outputpath)

を、for文に拡張したいと考えております。http://…000007947392…の数字の部分に規則性(連番になっている)があります。よろしくお願いします。

Answer 1

いまひとつ質問内容（何が分からないのか？）が把握できていないのですが
for文で12桁ゼロ詰めの連番を振る例です。
このfor文内で目的の処理を実行すればよいと思います。

import urllib.request
pref = "13"
filenum = "009"
outputpath = "./{}_{}.csv".format(filenum, pref)

# 12桁ゼロ詰めの連番を振る
for n in range(7947392,7947392+5):
    url = 'http://…{0:012d}…'.format(n)
    print(url) # http://…000007947392…
    #urllib.request.urlretrieve(url, outputpath)

Comments

[ak_miyamoto]

解決しました。いつもありがとうございます。

Answer 2

桁数は適宜調整してください。

for i in range(1000):
    url = "http://…{0:04d}…".format(i)

Comments

[ak_miyamoto]

回答をお寄せ下さりありがとうございます。大変勉強になりました。

Answer 3

連番ゼロ埋めなら。

import urllib.request

pref = "13"
filenum = "009"

for i in range(7947392, 8000000):
    url = "http://…{0:0>12}…".format(i)
    outputpath = "./{}_{}.csv".format(filenum, pref)

    urllib.request.urlretrieve(url, outputpath)

Comments

[ak_miyamoto]

ありがとうございます！助かりました。