質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.12%
Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

受付中

GASでUrlFetchをするとボットだとバレてしまうのは何故でしょうか?

Khy
Khy

総合スコア115

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。

1回答

0リアクション

0クリップ

245閲覧

投稿2022/09/21 23:48

GASを使いスクレイピングのコーディングをしております。
UrlFetchApp.fetch(url, options)を実行したところ、アクセス先のサイトにbotだと判断されたようでhcaptchaのセキュリティに引っ掛かってしまいました。

そこで以下2点気になったのですが、わかる方がおられましたらご教授いただけませんでしょうか?
・そもそも判別する側はどうやってbotだと見分けているのか?
・UrlFetchの際に、botだと判別されない方法はあるのか?(この様なサイトではスクレイピングは不可能なのか?)

どうぞ宜しくお願い致します。

GASのソースコード↓↓

javascript

const scraping = () => { var options = { muteHttpExceptions:true, }; var url = "https://www.biccamera.com/bc/item/1743167/" var res = UrlFetchApp.fetch(url, options) console.log(res.getContentText()) }

console.log(res.getContentText())の内容(一部抜粋)↓↓

<h2><center><b>セキュリティ保護のためご協力ください。 </b></center></h2><center>通常と異なるアクセスを検出しました。&nbsp;</center><center>このページはロボットではなく実際のお客様によるアクセスか確かめるものです。 <center><hr>

以下のような質問にはリアクションをつけましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

リアクションが多い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

2022/09/22 04:29

こちらの質問が複数のユーザーから「やってほしいことだけを記載した丸投げの質問」という指摘を受けました。

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.12%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Google Apps Script

Google Apps ScriptはGoogleの製品と第三者のサービスでタスクを自動化するためのJavaScriptのクラウドのスクリプト言語です。