クローリング時の、time.sleepの挿入箇所について

Question

前提・実現したいこと

time.sleep()関数の挿入箇所について、教えて頂きたいです。

具体的には、time.sleep()関数は、指定したURLのページの情報を取得する前（つまり、requests.get()関数の前）に、記述するべきだと思ったのですが、

https://techacademy.jp/magazine/34387

などを読んでみても、requests.get()関数の後に、記述されています。
両者に処理速度の違いなどがあれば、教えて下さい。

......requests.get()関数の前に記述

base = 'https://hogehoge'
for i in range(5):
    url = base + str(i)

    time.sleep(1)

    html = requests.get(url)
    soup = BeautifulSoup(html.content, 'lxml')

......

......requests.get()関数の後に記述

base = 'https://hogehoge'
for i in range(5):
    url = base + str(i)

    html = requests.get(url)

    time.sleep(1)
    
    soup = BeautifulSoup(html.content, 'lxml')

......

Answer 1

time.sleep()関数は、指定したURLのページの情報を取得する前
（つまり、requests.get()関数の前）に、記述するべきだと思ったのですが

なぜそう考えましたか？

sleep() の目的

sleep() する目的にも色々あります

リンク先の記事は Selenium を使っており、
フォームの送信を行った後、次のページのレンダリングが完了するのを待つために
sleep() している可能性があります

# coding: utf-8

import time

from selenium import webdriver

from bs4 import BeautifulSoup

url = "http://qiita.com"

driver = webdriver.Chrome("chromedriver.exe")

# ページにアクセス

driver.get(url)

# 検索ボックスを見つけてキーワードを検索

search = driver.find_element_by_class_name("st-Header_searchInput")

search.send_keys("Python")

search.submit()

time.sleep(5)

# 検索先のページのHTMLを取得

html = driver.page_source.encode('utf-8')

sleep() をどこに挿入すべきか

僕なら sleep() はループの一番最後に挿入します

成功したときの実行速度に差はありませんが
sleep() の後で何らかのエラーが発生したとき
その結果を得るまでの時間をロスすることになります

1 秒であればそれほど大きな違いではないかもしれませんが、
開発時は何度も実行するので、それなりに生産性に影響が出ます

Comments

[Prometheus]

回答ありがとうございます。
挿入箇所は、sleep()の使用用途の違いなども関係していたのですね。
ご指摘の通り、ループ処理の最後に記述しようと思います。

sleep()の挿入箇所を、requests.get(url)の前にするべきだと考えた理由は、サーバーに負担を掛けないために、get(url)によってurl先にジャンプする直前に、待機時間を設けようとしたからです。しかしよく考えれば、今回の場合は、sleep()はループ処理のどこに記述しても良さそうですね。