Q&A
> Seleniumから呼び出したChromeだとアクセスが弾かれてしまいます。
「Seleniumから呼び出したChrome」が「アクセスが弾かれ」る原因というのは、どうやって特定されたのでしょうか？
コードを掲載いただくことは可能でしょうか？
前提
Excel(VBA)+Selenuimでスクレイピングのツールを作っていますが、手動でChromeを起動してアクセスした際には正常に表示されるのですが、Seleniumから呼び出したChromeだとアクセスが弾かれてしまいます。
Seleniumなどを使うと、サーバー側からツールを使ったアクセスだと識別する方法があるらしいのですが、それを隠蔽する方法はありますでしょうか？
コメントありがとうございます。
以前はこのままでも使えていたのですが、サイトがアタックを喰らったみたいで
チェックが入るようになったようです。
明示的にアクセス拒否されるわけではありませんが、以下のメッセージが出てきて、永久ループしてしまいます。
Checking if the site connection is secure
This check is taking longer than expected. Check your Internet connection and refresh the page if the issue persists.
手動でChromeでアクセスした場合は問題なく表示されます。
SeleniumからChromeを起動した場合は上記のような事象になります。
コードの抜粋です。
URLは伏せてあります。
----- 以下コード -----
Dim DRIVER As New Selenium.WebDriver
Dim strURL As String
strURL = "https://****************************************"
DRIVER.Start "chrome"
DRIVER.Get strURL
サーバ側にSeleniumのアクセスを許さない仕組みが入っているのであるならば
スクレイピングそのものを禁止している可能性が高いと思います。
利用規約を確認する必要があると感じました。
URLが不明なので回答者側で検証不可能ですね。ただアクセス拒否されると切断されることが多いと思うので「永久ループしてしまいます」という現象には出会ったことがないですね。
コメントありがとうございます。
永久ループは同じURLにリダイレクトして、クライアントの環境チェックを繰り返しているようです。
URLは後悔しない方がいいかなと思っていたのですが、以下のURLです。
https://hidemy.name/en/proxy-list/?type=45#list
海外のSOCKプロキシの一覧を公開しているサイトで、ここからSOCKSプロキシの一覧を取得して、他のデータ収集に使っていました。
もし、お時間あれば、私の自称認識が正しいかどうかをテストしていただけるとありがたいです。
回答1件
0
Seleniumを起動して、Webサイトを開いた際にSelenium上で以下のようなスクリプトを実行してみてはいかがでしょうか。
navigator.__proto__でプロパティ取得後、delete 関数でプロパティからwebdriverを削除、
再度navigator.__proto__ = でプロパティを上書きしたのちに、実行をすることでWebDriver出ないとサイト上では判定されます。
（別途マウスカーソルの追従でのサイトスプレイピング禁止の機構が組まれていることに関しては、ここでは考えないことにします。）
一応以下のコードでwebdriverが使用されているかは確認できますので、ローカル等で確認してみてはいかがでしょうか。
if (navigator.webdriver) // webdriverの場合はTRUE
投稿2023/01/26 03:31
総合スコア2
追記ですが、今回の「SeleniumでアクセスしたサイトにSeleniumを使っていることを隠したい」というものに関しては、こちらで対応できるかと思います。
実際のサイトで、別の対策が取られている場合に関しては（リダイレクト、CF等）そもそも対応できない場合があります。
コメントありがとうございます。
多分、これが自分がやりたかった事にヒットしていると思われるのですが、Pythonなどではサンプルコードが検索で引っかかってくるのですが、VBAでのサンプルコードを見つけられませんでした。
実際にどういうコーディングをすればいいのかが、初心者のためわかりません。
お手数ですが、サンプルコードをつけていただけないでしょうか？
あなたの回答
tips
プレビュー
