質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

Q&A

1回答

613閲覧

GASでUrlFetchをするとボットだとバレてしまうのは何故でしょうか?

Khy

総合スコア118

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

0グッド

0クリップ

投稿2022/09/21 23:48

GASを使いスクレイピングのコーディングをしております。
UrlFetchApp.fetch(url, options)を実行したところ、アクセス先のサイトにbotだと判断されたようでhcaptchaのセキュリティに引っ掛かってしまいました。

そこで以下2点気になったのですが、わかる方がおられましたらご教授いただけませんでしょうか?
・そもそも判別する側はどうやってbotだと見分けているのか?
・UrlFetchの際に、botだと判別されない方法はあるのか?(この様なサイトではスクレイピングは不可能なのか?)

どうぞ宜しくお願い致します。

GASのソースコード↓↓

javascript

1const scraping = () => { 2 var options = { 3 muteHttpExceptions:true, 4 }; 5 var url = "https://www.biccamera.com/bc/item/1743167/" 6 var res = UrlFetchApp.fetch(url, options) 7 8 console.log(res.getContentText()) 9}

console.log(res.getContentText())の内容(一部抜粋)↓↓

<h2><center><b>セキュリティ保護のためご協力ください。 </b></center></h2><center>通常と異なるアクセスを検出しました。&nbsp;</center><center>このページはロボットではなく実際のお客様によるアクセスか確かめるものです。 <center><hr>

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

・そもそも判別する側はどうやってbotだと見分けているのか?

実際にどうやって判定しているかはサイトの中の人でないとわかりません。User-Agent ヘッダがメジャーなブラウザのものとは異なるので簡単に判別できますし、アクセス元IPアドレスがGoogleのものであればボットと見なしているのかもしれません。

・UrlFetchの際に、botだと判別されない方法はあるのか?(この様なサイトではスクレイピングは不可能なのか?)

User-Agent は変更できないそうですし、IPアドレスも変更できるわけがないので、そのへんで判別していると回避は不可能でしょう。

投稿2022/09/22 06:44

int32_t

総合スコア20884

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問