python サイトが更新されるまでrefresh

Question

supremeのサイトが土曜日の午前11時前後に更新されるのですが、pythonを使ってサイトが更新されるまでdriver.refresh()でページをrefreshしたいと考えているのですが、更新したかどうかを確かめるために

while True:
    try:
        WebDriverWait(driver,1).until(
            EC.presence_of_element_located((By.XPATH,'//img[contains(@src,"画像ID")]'))).click()
    break
    except:
        driver.refresh()

といった感じでサイトが更新されて目当ての商品が出てきたらそれをクリックして次のページに行く、更新されていなければまたrefreshするといった方法でいこうかと考えているのですが、もっと良い方法があるようにも思えます。その根拠はwaitで待っている時間が無駄なんじゃないかと思うからです。どなたかご指摘またはアドバイスよろしくお願いします。

Answer 1

やりたい事はわからんではないのですが、いかんせん現状のコードでも1秒に1回以上ブラウザでページをリフレッシュし続ける様な処理になっているので、サーバ側への負荷を鑑みるとやめといたほうが良いレベルだと思います。

こういうブラウザ操作の自動化は「X秒に1回操作までの負荷ならOK」といった明確な基準はないのですが、ECサイトの商品ページを継続的に1秒に1回更新するのは、サイトの規模によってはサーバを落とすことになりかねない（と私は考える）ので、私なら実施をはばかるレベルです。

もし万が一、ECサイトの運営元から訴えられてもOK、刑事告訴上等、で本気を出して低遅延でのサイト更新の検出を目指すなら、以下のような手法が考えられますが、私なら怖くて絶対にやりません。

• 既存のSeleniumでの変更検出処理の読み込み待ちを5秒に延長して、0.1秒ずらした50多重で実行する。
• HTML/JSやHTTPのヘッダを静的に解析して読み込み待ちなしに変更の検出ができるようにする。

繰り返しになりますが、上記は全然おすすめできませんし、もしも知人が浅い知見で同じようなことをしようとしていたら私は断固止めます。あなたが今「工夫しよう」としている事には、責任が伴う（かもしれない）という点への認識をおすすめします。

Comments

[yuudai]

回答ありがとうございます。重く受け止めます。