質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.53%

負荷がかかるタイミングを知りたい

解決済

回答 2

投稿

  • 評価
  • クリップ 0
  • VIEW 157

chintao1224

score 97

python+seleniumでスクレイピングをしています。

サイトに「負荷をかけてはいけない」と書かれていたりしますが、どのタイミングで負荷がかかるのでしょうか。
リクエストをなげたときという漠然としたことは分かるのですが、画像を取得するときrequests.getは使っててココで負荷がかかるのは分かるのですが、seleniumを使ってたりするので負荷の箇所が分かりません。

負荷の箇所にtime.sleepを入れれば良いかなと単純に思っています。

time.sleepを入れる箇所はどういったところに入れれば良いのでしょうか。

負荷がかかる場所にtime.sleepをいれておけば良かったりするのでしょうか。

分かりにくい質問で申し訳ございませんが、よろしくお願いします。

知りたいのは負荷がかかるタイミングと、そこにtime.sleepをいれるだけで良いのかということです。

driver.find_element_by_id("next")で負荷がかかったりすると思ってたりもします。
あとpagerをクリックしたときに負荷がかかるとは思ってたりもします。

よろしくお願いします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

0

driver.find_element_by_id("next")で負荷がかかったりすると思ってたりもします。

そこに関しては探しているだけなので、time.sleep等での待ちは発生しません。
しかし、click等の処理をする場合はtime.sleep等も用いて1秒から3秒ほど待たせておくのが無難な選択と言えるでしょう。
それとサーバーとの通信が発生するような処理の重いところでは10回ほど計測を行い、その最大時間の3倍はsleepをかけるようにして下さい。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/03/26 21:17

    すみません、「サーバーとの通信が発生するような処理」というのはどういった時なのでしょうか?

    キャンセル

  • 2020/03/27 09:46

    chromeではサイトを開く、戻る、進む、アップロード、ダウンロード、動画等の再生の時などですね。
    スマホゲームとかでは、画面切り替え時やガチャの時にも通信処理が入ったりします。
    Twitterとかでは画面をスクロールすればするほど、通信が入ったりもします。

    基本、そんなところですかね...

    キャンセル

0

基本的にWebサーバは人間がブラウザを経由して操作されることを想定しています。
Seleniumを利用することで、それ以上の短時間にその操作が行われてしまうため、一つ一つの処理負荷は変わらずとも、単位時間あたりの処理が増加することになり、負荷の増加という形で影響を与えてしまいます。

知りたいのは負荷がかかるタイミングと、そこにtime.sleepをいれるだけで良いのかということです。

ですので、ユーザがクリックを行う、ページの表示を行うといった処理を短時間に繰り返さないような配慮が必要となります。
よくわからない場合には、Proxyやネットワークツールを利用して、どの処理がサーバにリクエストを投げているかを把握して、その間隔が短くならないようにすれば良いです。
人間が行う際にはどの程度の時間がかかるかを目安にすれば、どの程度感覚を開ければ良いか見当がつくのではないかと思います。
また、ユーザがクリックを行う場合には、例えばボタンがブラウザで表示されてから出ないとクリックできないわけです。Seleniumでの処理の場合にはブラウザで表示されずともDOMさえ読み込んでいれば良いので、単に時間を開ければ良いというわけでもないです。ボタンが表示されてから、所定時間sleepするとした方がより負荷を減らせるのではないでしょうか。
(これはサーバの負荷により取得できる時間が変動するので、その変動も考慮するという意図です)

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.53%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる