負荷がかかるタイミングを知りたい

Question

python+seleniumでスクレイピングをしています。

サイトに「負荷をかけてはいけない」と書かれていたりしますが、どのタイミングで負荷がかかるのでしょうか。
リクエストをなげたときという漠然としたことは分かるのですが、画像を取得するときrequests.getは使っててココで負荷がかかるのは分かるのですが、seleniumを使ってたりするので負荷の箇所が分かりません。

負荷の箇所にtime.sleepを入れれば良いかなと単純に思っています。

time.sleepを入れる箇所はどういったところに入れれば良いのでしょうか。

負荷がかかる場所にtime.sleepをいれておけば良かったりするのでしょうか。

分かりにくい質問で申し訳ございませんが、よろしくお願いします。

知りたいのは負荷がかかるタイミングと、そこにtime.sleepをいれるだけで良いのかということです。

driver.find_element_by_id("next")で負荷がかかったりすると思ってたりもします。
あとpagerをクリックしたときに負荷がかかるとは思ってたりもします。

よろしくお願いします。

Answer 1

基本的にWebサーバは人間がブラウザを経由して操作されることを想定しています。
Seleniumを利用することで、それ以上の短時間にその操作が行われてしまうため、一つ一つの処理負荷は変わらずとも、単位時間あたりの処理が増加することになり、負荷の増加という形で影響を与えてしまいます。

知りたいのは負荷がかかるタイミングと、そこにtime.sleepをいれるだけで良いのかということです。

ですので、ユーザがクリックを行う、ページの表示を行うといった処理を短時間に繰り返さないような配慮が必要となります。
よくわからない場合には、Proxyやネットワークツールを利用して、どの処理がサーバにリクエストを投げているかを把握して、その間隔が短くならないようにすれば良いです。
人間が行う際にはどの程度の時間がかかるかを目安にすれば、どの程度感覚を開ければ良いか見当がつくのではないかと思います。
また、ユーザがクリックを行う場合には、例えばボタンがブラウザで表示されてから出ないとクリックできないわけです。Seleniumでの処理の場合にはブラウザで表示されずともDOMさえ読み込んでいれば良いので、単に時間を開ければ良いというわけでもないです。ボタンが表示されてから、所定時間sleepするとした方がより負荷を減らせるのではないでしょうか。
（これはサーバの負荷により取得できる時間が変動するので、その変動も考慮するという意図です）

Answer 2

driver.find_element_by_id("next")で負荷がかかったりすると思ってたりもします。

そこに関しては探しているだけなので、time.sleep等での待ちは発生しません。
しかし、click等の処理をする場合はtime.sleep等も用いて1秒から3秒ほど待たせておくのが無難な選択と言えるでしょう。
それとサーバーとの通信が発生するような処理の重いところでは10回ほど計測を行い、その最大時間の3倍はsleepをかけるようにして下さい。

Comments

[chintao1224]

すみません、「サーバーとの通信が発生するような処理」というのはどういった時なのでしょうか？

[stdio]

chromeではサイトを開く、戻る、進む、アップロード、ダウンロード、動画等の再生の時などですね。
スマホゲームとかでは、画面切り替え時やガチャの時にも通信処理が入ったりします。
Twitterとかでは画面をスクロールすればするほど、通信が入ったりもします。

基本、そんなところですかね...