python maxRetryError 対策

Question

maxRetryErrorの対策方法につきまして、
その対策方法自体に疑問がありましたので質問させていただきました。

for分を使用したスクレイピングによるmaxRetryErrorを回避する方法として
for分の中にヘッドレスブラウザの設定を組み込んでしまうことで対処できると紹介されておりました。
これはどうしてforの中でその都度ヘッドレスブラウザの設定をすることでmaxRetryErrorを回避することができるのでしょうか。

開発環境は
google colab
Python 3.7.12
一応ですがOSはwindows10です。

以下に詳細を記載させていただきます。

seleniumを使用してスクレイピングをしており
forを使用した繰り返し処理において、目的のwebページに飛ぶ際に上記エラーが生じてしまいました。

以下に簡潔にですがエラーが出た際のサンプルコードを記載いたします。

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
browser = webdriver.Chrome('chromedriver', options = options)

keyword_list = [asd, adis, agau, aksia, siaug, sksi, aisia]
url1 = 'https://*******'
url2 = 'https://+++++++'

for i in range(len(keyword_list)):
  browser.get(url1)
  input_box1 = browser.find_element(by = By.NAME, value = 'input1')
  input_box1.send_keys = keyword_list[i]
  # 以下url1におけるhtml取得などの処理

  browser.get(url2)
  input_box2 = browser.find_element(by = By.NAME, value = 'input2')
  input_box2.send_keys = keyword_list[i]
  # 以下url2におけるhtml取得などの処理

上記のコードで最初の
browser.get(url1)
の部分でmaxRetryErrorとなってしまいました。

ネットで解決策を探してみましたところ以下サイトに対処方法が乗っておりその通りにすることでエラーの対処は自体はできました。
https://qiita.com/S8s8Max/items/035742cf061419d827c6

対処方法のサイトを参考にしまして修正した私のコードが以下でございます。

keyword_list = [asd, adis, agau, aksia, siaug, sksi, aisia]
url1 = 'https://*******'
url2 = 'https://+++++++'

for i in range(len(keyword_list)):
  options = webdriver.ChromeOptions()
  options.add_argument('--headless')
  options.add_argument('--no-sandbox')
  options.add_argument('--disable-dev-shm-usage')
  browser = webdriver.Chrome('chromedriver', options = options)
  
  browser.get(url1)
  input_box1 = browser.find_element(by = By.NAME, value = 'input1')
  input_box1.send_keys = keyword_list[i]
  # 以下url1におけるhtml取得などの処理

  browser.get(url2)
  input_box2 = browser.find_element(by = By.NAME, value = 'input2')
  input_box2.send_keys = keyword_list[i]
  # 以下url2におけるhtml取得などの処理

私が修正した内容は、対処方法のサイトにもある通りですが、ヘッドレスブラウザの設定をforの中に組み込んでしまうことです。
もちろんこれでエラーは出なくなりました。

ここで冒頭の疑問に戻るのですが、どうしてこの方法でmaxRetryErrorを回避できるのでしょうか。
またmaxRetryErrorは同じコードであってもエラーが出る時と出ないときがあるようなのですが、それはなぜなのでしょうか。

稚拙な質問かとは思うのですが、教えていただけますと幸いです。
よろしくお願いいたします。

Answer 1

この「対策」なるものの本質は、「ヘッドレスブラウザの設定をforの中に組み込んでしまうこと」というよりも、「forループごとに、driverオブジェクトを生成している」ことにあるのではないでしょうか。

もとのQiitaの記事のコードは、ループごとに同じ設定（option）の生成を無意味に行っており、実際は下記で足るはずです。

keyword_list = [asd, adis, agau, aksia, siaug, sksi, aisia]
url1 = 'https://*******'
url2 = 'https://+++++++'

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

for i in range(len(keyword_list)):
  browser = webdriver.Chrome('chromedriver', options = options)
（以下略）

上記でエラーが発生しなくなる理由：
一度webdriverオブジェクトを生成してそれをずっと使いまわすということは、ブラウザのセッションを使いまわすことになります。
結果、同一のセッションで定期的にアクセスしてくるクライアントを、ウェブサイト側がbotと判断してアクセスを拒否し、MaxRetryErrorが発生した可能性があります。

上のようにループごとにwebdriverオブジェクトを生成すれば、その度に異なるセッションを張ることになるので、botと判断されにくくなり、エラーが発生しにくくなったのではないでしょうか。

Comments

[tttkkk]

非常に分かりやすいご説明をありがとうございます。
納得することができました。

qnoir様はエラーが発生しにくいという表現をしようておりますが
ループごとにwebdriverオブジェクトを生成してもエラーが発生する可能性は捨てきれないということなんですね。
勉強になりました。