Python スクレイピングについて

Question

スクレイピングする際このコードを使用しようと考えているのですが、サーバーの負担などを考慮してスクレイピングコードとして何点でしょうか？
改善点をお教えいただけるとありがたいです。

動作環境は GoogleColaboratoryです。

module_dir = '/content/drive/MyDrive/module'
data_dir = '/content/drive/MyDrive/input/'
import os
import sys
sys.path.append(module_dir)
from bs4 import BeautifulSoup
import re
import requests
import time
import numpy as np
from datetime import datetime as dt
from typing_extensions import Protocol
import json 
import random
#########################################################################################
FILE_PATH = '/content/drive/MyDrive/module/ip_list.json'
USER_AGENT_list = [
  "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36"
  ,"Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19"
  ,"Mozilla/5.0 (iPhone; CPU iPhone OS 12_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148"
]

json_open = open(FILE_PATH, 'r')
proxy_list = json.load(json_open)
UA = USER_AGENT_list[random.randrange(0, len(USER_AGENT_list), 1)]
proxy_info = random.choice(proxy_list)

ip = proxy_info['ip']
port = proxy_info['port']
protocol = proxy_info['protocol']
proxy = protocol + '://' + str(ip) + ':' + port
proxies = { 'http':proxy,
            'https':proxy}
headers = {'User-Agent' : UA}

＃例のためヤフージャパンをリンクに使用しています
 url = https://www.yahoo.co.jp
 site = requests.get(url, proxy, headers=headers, timeout=3.5)
 time.sleep(random.uniform(0.1**ボールドテキスト**,0.6))
 data = BeautifulSoup(site.text,'html.parser')

Comments

[meg_]

> サーバーの負担などを考慮してスクレイピングコードとして何点でしょうか？
対象のサイトはスクレイピングが禁止されていないと考えて良いのでしょうか？（USER_AGENT設定しているのは対策ではありませんか？）

[Yamada]

はい。禁止されていないサイトでも一応USER_AGENTは設定したほうが良いという情報があったので、設定しております。

[meg_]

設定しないとスクレイピング出来ないサイトはおそらくロボット等による機械的なアクセスを禁止している気がします。（対象サイトが不明なため断言は出来ませんが）
コードについては取得したhtmlを解析するだけなら問題ないと思います。繰り返し処理する場合などは1秒開けるとか必要かもしれません。

[Yamada]

ありがとうございます！