GASを使いスクレイピングのコーディングをしております。
UrlFetchApp.fetch(url, options)
を実行したところ、アクセス先のサイトにbotだと判断されたようでhcaptchaのセキュリティに引っ掛かってしまいました。
そこで以下2点気になったのですが、わかる方がおられましたらご教授いただけませんでしょうか?
・そもそも判別する側はどうやってbotだと見分けているのか?
・UrlFetchの際に、botだと判別されない方法はあるのか?(この様なサイトではスクレイピングは不可能なのか?)
どうぞ宜しくお願い致します。
GASのソースコード↓↓
javascript
1const scraping = () => { 2 var options = { 3 muteHttpExceptions:true, 4 }; 5 var url = "https://www.biccamera.com/bc/item/1743167/" 6 var res = UrlFetchApp.fetch(url, options) 7 8 console.log(res.getContentText()) 9}
console.log(res.getContentText())の内容(一部抜粋)↓↓
<h2><center><b>セキュリティ保護のためご協力ください。 </b></center></h2><center>通常と異なるアクセスを検出しました。 </center><center>このページはロボットではなく実際のお客様によるアクセスか確かめるものです。 <center><hr>

下記のような回答は推奨されていません。
このような回答には修正を依頼しましょう。
また依頼した内容が修正された場合は、修正依頼を取り消すようにしましょう。