前提・実現したいこと
Google Apps ScriptのUrlFetchApp.fetch でGoogleの検索結果を取得したい。
以下の質問の回答例を作成中にUrlFetchApp.fetchが失敗する現象に遭遇しています。
Google Apps Script（スプレッドシートのスクリプト）にて、site:コマンドでわかるインデックス数を表示したい
UrlFetchApp.fetchが成功した時には上記の質問で実現したいことが実現できるのですが、UrlFetchApp.fetchがに失敗することが多いです。感覚的には1/4の確率でしか成功しません
私自身は特にインデックス数には興味がありませんし、UrlFetchAppも使用しないので特に困っていないのですが、単に興味としてなぜ失敗したり成功したりするのか知りたいです。
発生している問題・エラーメッセージ
https://www.google.co.jp/search?hl=ja&q=google.com のリクエストに失敗しました（エラー: 503）。サーバー応答の一部: <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> <html DIR="LTR"> <head><meta http-equiv="content-type" content="text/html; charset=...（応答の全文を見るには muteHttpExceptions オプションを使用してください）（行 74、ファイル「コード」）該当のソースコード
Spreadsheetのセルから=getDomainIndex("google.com") と呼ばれることを想定しており、test_getDomainIndexはスクリプトエディタでのデバッグ用です。
function test_getDomainIndex() {
getDomainIndex('google.com');
}
function getDomainIndex(domain) {
var response = UrlFetchApp.fetch('https://www.google.co.jp/search?hl=ja&q=site:'+domain);
var content = response.getContentText();
var index = content.
match(/<div class=\"sd\" id=\"resultStats\"[^0-9]*[0-9\,]+/)[0].
match(/[0-9\,]+/)[0].
replace(/\,/g,"");
return index;
}
インデックス数を取得する処理部分ももう少しスマートにできる気がしますが、それについては元の質問に対して回答してあげてください。
追加で試したこと
// こちらは失敗しない
UrlFetchApp.fetch('https://google.co.jp/');
// こちらは失敗が多い
UrlFetchApp.fetch('https://www.google.co.jp/search?hl=ja&q=site:google.com');-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
0
エラーコードに、
（応答の全文を見るには muteHttpExceptions オプションを使用してください）
と書いてあったので、オプションを使用してみたら10回中10回成功しました。
var options = {
muteHttpExceptions:true
};
var response = UrlFetchApp.fetch('https://www.google.co.jp/search?hl=ja&q=site:google.com',options);なぜ、503エラーがこれで解決できるのかはちょっとわかりませんが、、
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
2017/03/18 20:54
503エラーについては直りましたが、このリクエストを連続で送るとGoogleに怒られてしまいます、、、
頻度が503エラーと似ているので、これが原因かもしれません。
ただし、ブラウザで手動で連続で検索するのと同じ程度の間隔でスクリプトを実行して確認しましたが
、手動だと常に成功しまうが、スクリプトだと高い頻度でエラーが発生しますね、、、
エラーの抜粋は以下です。
------------------
ロボットが使用するような高度な検索語を使用したり、リクエストを非常にすばやく送信した場合も、セキュリティ画像の文字を入力するように求められることがあります。