初心者です。for文の数字を１ずつ増やしたいです。

Question

前提・実現したいこと

初心者です。調べて試してみたのですが上手く出来なかったので投稿しました。

サイトからスクレイピングを行いたいのですが
http://xxx.com/00001
などのスクレイピングするサイトの数字をfor文で数字を１ずつ増やして、
その作業を7万回行いたいです。

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

import requests
response = requests.get("http://xxx.com/00001")
data = response.json()

for item in data["vsrs"]:
    print(item)

現在この方法でスクレイピング出来ています。
しかしfor文が繋げられず、上手く行きません。

試したこと

num = 00001
for item in date(1, 70000):
num += 1
    array[0] = [item]

やURLの数字をitemに置き換えて

import = requests
item = [n for n in range(3)]

などを試したのですが上手く出来ません。

補足情報（FW/ツールのバージョンなど）

サイトの数字7万回を増やしたあと、vsrsのデータ全てを一箇所にまとめたいです。
質問の仕方が変な点もあるかと思いますがお願いします。

mac
python3.7です。

Comments

[hayataka2049]

とりあえずインデントが潰れて（デフォルトでそうなります）コードが読めないので、https://teratail.com/tour　を参考に質問文を編集し、コードをシンタックスハイライト・マークダウンで囲ってください。

[hayataka2049]

囲ってもインデントしなかったら意味がないですよ。あと、試したことの部分のコードも囲ってください。

[Illas]

ありがとうございます。調べながらインデントしてみます。

[bochan2]

teratailで質問してくださりありがとうございます！
二個目のコードのインデントがおかしくなっているので直していただけると、他の困っている人が見たときに役に立つと思うので修正をお願いします。

[Illas]

わかりました。皆さまありがとうございます。

Answer 1

こんにちは。

下のようにformatを使って0埋めした数値を、URLに埋め込むといいでしょう。
なお、あまり高速にアクセスするとDoS攻撃になるので注意してください。

import requests
import time

for i in range(1, 70000):
    response = requests.get("http://xxx.com/{:0>5}".format(i))
    time.sleep(1)  # 1秒待機

Comments

[hayataka2049]

この場合sleepとかしないとDOS攻撃になるので、最低限それは書いておいた方が親切かと。

[Illas]

なるほど参考になります。この場合スクレイピングしたいdata["vsrs"]:とどう繋げれば良いのでしょうか？

[firedfly]

hayataka2049さん。なるほど……追記しておきます。

[firedfly]

Illasさん。どう繋げれば良いのか、ですか。
「ただ繋げれば良い」と思いますが難しいですかね。

もしforの多重ループがわからないようなら
九九を表示するプログラムでも作ってみてください。

参考：Pythonで多重ループ（ネストしたforループ）からbreak | note.nkmk.me
https://note.nkmk.me/python-break-nested-loops/

[Illas]

わかりました、丁寧に回答して頂きありがとうございます。