BeautifulSoup4でリクエストが発行されるタイミングは？

Question

やりたいこと

お世話になっております。
現在スクレイピングを検討していて、Qiitaの記事などで多くあるように、
beautifulsoup4 と　requests
でやろうとしています。

今のコードはこんな感じでスクレイピングの関数を作っていて、

def scraping(url):
  html = requests.get(url)
  soup = BeautifulSoup(html.text, "html.parser")

  results_title = soup.find("table", id="lineup").find_all("h2", class_="title")
  sleep(1)
  results_company = soup.find("table", id="lineup").find_all("h3", class_="company")
  sleep(1)
  results_span = soup.find("table", id="lineup").select("div > span")
  sleep(1)
  results_link = soup.find("table", id="lineup").select("h2 > a")
  sleep(1)

さらにそれを使ったmain()という関数を記述しています。

def main(url):
  scrayping(url)
  
  # 以下出力したり、リストにしたりの処理

聞きたいこと

今回ご教授願いたいのは、BeautifulSoup4が（requestsが？）どのタイミングで相手のwebサイトにアクセスしているかという事です。

多くの記事では相手側のサーバーに負荷をかけないように、sleep()等で待機時間を設けるべきと書いてありますが、どの処理の箇所に記述するのが適切なのかわかっていません。
現在のコードで合っているのでしょうか？

・アクセスするのはsoupオブジェクトを使って検索する度になのか
・最初にrequests.get()を使うときだけなのか
・それ以外なのか

教えていただければ幸いです。
根本的なことでもうしわけありません。

現在の理解ではsoup.find()などを使う度にsleep()が必要なのだ思っておりますので、このプログラムでは実行するごとに合計4回アクセスするのだと思っております。
よろしくお願いいたします。

Answer 1

requests.get()を呼び出したときだけです。
BeautifulSoupはHTMLをパースする機能は持っていますが、HTTP通信する機能は持っていません。

Comments

[hajifu]

ありがとうございます！
ということは、この場合scraping()が実行された時に一度だけアクセスされるということでよろしかったでしょうか？
その場合sleep()は今ある場所ではなく関数の最後などに入れることになるのでしょうか？

[can110]

はい。getのたびでよいのでscraping関数の最後だけでよいかと思います。

[hajifu]

ご丁寧にありがとうございました！