クローラー禁止のGoogle検索結果をpythonでスクレイピングしようとするとBOTであるとバレ、recaptchaに飛ばされる。

Question

前提

googleの検索結果をスクレイピングするクローラーをpythonで造っています。しかし、いくつか処理を施してはいるものの、これまで大量にスクレイピングをしたせいか、GoogleにBOTであるとバレてしまい、recaptchaに飛ばされます。バレないようにスクレイピングしたいです。

Googleがどのようにユーザーとクローラーを判別しているのか、ご教示いただきたいです。

実現したいこと

recaptchaを表示させないようにしつつ、スクレイピングすることです。

発生している問題・エラーメッセージ

https://www.google.com/sorry/index?continue=https://www.google.com/search%3Fq%3D%25E3%2581%2590%25E3%2583%25BC%25E3%2581%2590%25E3%2582%258B%26source%3Dhp%26ei%3D5tFNY8KuA4bP2roPhZGPsAg%26iflsig%3DAJiK0e8AAAAAY03f9nxF9R7JmGc2aVnD6eIIBjLrU6aT&q=EgSKxxXEGOqjt5oGIhBMSMQMHr0J86TrknjxYwjAMgFy

上記のページに飛ばされてしまいます。（クリックするとリンク切れになっていますが、アドレスバーに貼り付けるとrecaptchaのページに到達できます）

該当のソースコード

from selenium.webdriver.chrome.options import Options
#botだとバレないようにするためのオプションを用意する
option = Options()
# シークレットモードの設定を付与
option.add_argument('--incognito')
#window.navigator_webdriverの設定をfalseに偽装する
option.add_argument('--disable-blink-features=AutomationControlled')


from selenium import webdriver
#ウェブドライバーのパス。今回はChrome(自分のドライバーのパス)
driver_path = "C:\mypg\py\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path, options=option)
#ウィンドウ最大化と待ち時間の設定
driver.maximize_window()
import time
INTERVAL = 3.0
time.sleep(INTERVAL)

URL = "https://www.google.com/"
driver.get(URL)
time.sleep(INTERVAL)

#検索窓に入力して調べる
search = driver.find_element_by_name('q')
search.send_keys('ぐーぐる')
search.submit()

#クロームの画面が消えてしまわないように残す用
input()

試したこと

ソースコードにもありますが、window.navigator_webdriverの値がtrueであることで、クローラーであると判断される事例があったので、window.navigator_webdriverの値をfalseにするよう設定しました。

また、VPNを使ってIPアドレスを変えた場合はうまくいったのですが、毎回同じアドレスでスクレイピングしたいです。

補足情報（FW/ツールのバージョンなど）

OSはWindows11、pythonのバージョンは3.10.7です。

スクレイピングを始めたころは、特に問題なく情報を抜けていたのですが、続けていくうちにrecaptchaの画面に遭遇する頻度が高くなっていき、ついには検索窓にキーワードを入力して検索することすらできなくなってしまいました。

自分で検索するときは何の問題もなく使えているので、どのようにBOTと人を見分けているのか、本当に謎です....。
どうぞよろしくお願いいたします。

Comments

[退会済みユーザー]

クローラを使って某図書館サイトにアクセスしたら業務妨害とかで逮捕された事例があるので甘く考えない方がいいよ。禁止と理解してるならなおさら。これ見て通報する人もいるかも。

[Jikao]

コメントありがとうございます。
適切なインターバルを開ければ業務妨害には当たらないという認識でした。
今後はAPIを使いたいと思います。

Answer 1

禁止だと理解しているのにしようとするのはかなり悪質ですね!

スクレイピングはやめて、Cusotm Search JSON API を利用するのが筋です。

Comments

[Jikao]

解答ありがとうございます。
サーバーに負担がかからない範囲であっても、スクレイピングはやめた方がよさそうですね。
今後はAPIを使うようにします。

Answer 2

残念ながら、不法な事柄についての質問は受け付けておりません。
ご自分でどうにかしましょう

Comments

[Jikao]

回答ありがとうございます。
今後はAPIを使うようにします。