サーバー負荷を抑えるためsleep()を記述する場所

Question

前提・実現したいこと

スクレイピングを行うにあたり、サーバー負荷を減らすためにsleep()を使って感覚を開けるのがマナーだということで、下記のコードを実行しようと思っています。

記述の通り、urls_ymには複数のurlが入りそれをループさせていくコードです。
この場合のsleep()の位置は適切でしょうか?
res = requests.get(i)の上に記述した方が良いでしょうか?

dates = []
for i in urls_ym:
    res = requests.get(i)
    sleep(3)
    soup = BeautifulSoup(res.text, 'html.parser')
    cal_table = soup.find(class_='Calendar_Table')
    links = cal_table.find_all('a')
    dates.extend([link.attrs['href']for link in links])

Answer 1

以下のものもありますが、間隔といういみではどれでもあまり変わりません。

dates = []
for i in urls_ym:
    res = requests.get(i)
    soup = BeautifulSoup(res.text, 'html.parser')
    cal_table = soup.find(class_='Calendar_Table')
    links = cal_table.find_all('a')
    dates.extend([link.attrs['href']for link in links])
    sleep(3)

性能を考えると、sleepを一回減らすようなコードにすることは可能です。

ただし、サーバー負荷を減らすためにsleep()を使って間隔を開けるのがマナーというのは、そう決まっているわけではありませんので注意してください。

Comments

[tomoysh]

回答ありがとうございます。「間隔という意味ではあまり変わらない」というのはrequestsを実行した後のタイミングでも、extendした後のタイミングでも、いつsleepを実行するかのタイミングだけの問題なので、変わらないという意味でしょうか?

また、そう決まっているわけでではないというのは、それでも不十分、危険があるということでしょうか?

[ppaul]

いつsleepを実行するかのタイミングだけの問題なので、変わらないという意味でしょうか?
そうです。
実行時間を最小にしたければ、回答に書いたコードの場所において、3秒ー処理時間とするとかもあるので、技術としては知っておくことには意味があります。

それでも不十分、危険があるということでしょうか?
サイトの運営管理者になったつもりで考えてください。
サイトを作っている側からすると、スクレイピングを禁止しているところもあります。
禁止していないところでも、運営管理者の考え方はさまざまです。
私が運営管理をするなら、アクセスの少ない時間であれば1秒一回でも許すけれど、他のユーザのアクセスが激しいときには10分に一回でも許したくないと思うかもしれません。
3秒だから許されるというのは、スクレイパー側の勝手な言い分にすぎないということを理解したうえでやるべきということです。

[tomoysh]

なるほど。納得しました。ありがとうございました。