規則性のあるurlのスクレイピング方法

Question

やりたいこと

規則性のあるサイトのurlを変更してそれぞれのurlの表を読み込みたいと思っております。
たとえば、
url = 'https://www.sss'+str(i)+'ccc'+str(n)+'aaa'
というurlがあったとしたときに
iは１〜１２まで
nは１〜１２までの
数字がかわり、１４４のサイトに読み込み、
この各サイトの表を読み込むプログラムをpythonで書きたいと考えております。
そこで下記のように書きました。

from bs4 import BeautifulSoup
import requests
import pandas as pd
from pandas import Series,DataFrame
Round=list(range(1,13))
Place=list(range(1,13))
for i in Round:
    for n in Place:
    url = 'https://www.sss'+str(i)+'ccc'+str(n)+'aaa'
result = requests.get(url)
c = result.content
soup = BeautifulSoup(c,'lxml')
summary = soup.find('div',{'class':'contentsFrame1_inner'})
table = summary.find_all('table')

上記では、すべてのfor文を終えた後に、urlを読み込むので、
最後の
url = 'https://www.sss12ccc12aaa
の表しかスクレイピングできていない状況です。

そこで、１４４のサイトの表を読み込み為のプログラムを書くにはどのように
for文の箇所を変更すればよろしいですか？
ご確認よろしくお願いいたします。

Answer 1

ご提示のコードだと、インデントエラーが出て実行できないはずですが。

どのようにfor文の箇所を変更すればよろしいですか？

for文のごく基本的な挙動に関する話なので、基礎に立ち返って考えてください。

>>> for round in range(1, 13):
...     for place in range(1, 13):
...         print(round, place)
...
1 1
1 2
...略
12 11
12 12

毎周データを取得して、リストにでも突っ込んでおけば良いです。

---

また、一回サイトにアクセスする度に、time.sleep(1)するようにしてください。
相手方のサイトに負荷をかけすぎないようにする配慮です。

うっかり無限ループでも書こうものならDoS攻撃をかける羽目になるので、
スクレイピングはもうちょっとプログラミングを練習してからの方が良いと思いますよ。

Comments

[shunsuke1937]

ご回答ありがとうございます。
for文の使い方を基礎から再度勉強します。
また注意点までご教示頂きましてありがとうございます。