Q&A
そこまで気にすることはないかと思います。それよりもそのサイトがスクレイピングを禁止していないか確認しましょう。※利用規約で禁止されているサイトがあります
前提・実現したいこと
pythonでスクレイピングの勉強をしています。
スクレイピングでは相手のサーバに負荷がかからないように
time.sleep()を入れるのは分かったのですが、
beautifulsoupのfind_all("a")を使った取得で、aタグが多い場合
相手サーバに負荷がかかるのではないかと思ったのですが、
この場合、負荷を抑えるにはどのようにすればいいですか？
for文を使ったスクレイピングのときにtime.sleep入れればいいのでしょうか？
利用規約に記載されていない場合は、スクレイピングokですか？
適当に入れると良いかと思います。
利用規約には「スクレイピング禁止」とは明記されていないが、ロボットによるアクセスは駄目とかサイトが提供する方法以外は駄目、等の表現になっていることがありますのでご注意ください。
find_allを使ったときに通信が発生すると考えているということでしょうか？
mistnさん
そう考えていたんですが、今、入力してて思ったのが、
requests.getのときに通信が発生で、beutifulsoupでは通信が発生しない
という感じですか？
dark-eater-keiさんが回答していますがその通りです。
Beautiful Soupはhtmlを解析するためのものなので通信は発生しません。
改めて勉強になりました。
ありがとうございます。
回答1件
0
ベストアンサー
スクレイピングではrequestsやseleniumを用いて，htmlを取得します．このときサーバからhtmlデータをダウンロードをするため負荷をかけないようにディレイをかけます．
beautifulsoupはダウンロードしたhtmlを解析するためのライブラリなので，通信は発生しません．
したがって，find_allを使うときにディレイさせる必要はありません．
もちろんディレイをかけても良いですが時間がかかります．
投稿2020/03/16 12:12
総合スコア1248
あなたの回答
tips
プレビュー
