###前提・実現したいこと
Googleスプレッドシートにて、
Googleの検索結果数を取得するツールを作成しています。
取得方法は、GASにて。
###発生している問題・エラーメッセージ
検索結果数を取得する際に、
UrlFetchApp.fetch()を使用しているのですが、
以下のようなエラーとなり、取得できないでいます。
しかし、10回~20回ほど連続してスクリプトを実行すると正常に取得する場合があります。
https://www.google.co.jp/search?q=%E4%B8%8A%E5%B1%B1%20%E7%AB%9C%E6%B2%BB のリクエストに失敗しました(エラー: 503)。サーバー応答の一部: <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> <html> <head><meta http-equiv="content-type" content="text/html; charset=utf-8"><me...(応答の全文を見るには muteHttpExceptions オプションを使用してください)
このエラーの内容から察するに、恐らくGoogleからのキーワードの取得回数に制限でもあるのでしょうか。
それとも、https://www.google.co.jp/complete/search?hl=jp&output=toolbar&q= からのAPIに対して取得制限がかかっているのでしょうか?
どのようなロジックになっているのか検討がつかなく、大変困っております。
実現したい内容としては、エラーをなくしたいと思っております。
知恵をお持ちのかたの回答を切望いたします。
###該当のソースコード
GAS
1//関数 2function suggest() { 3 var sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetByName('data'); 4 var keyWord = sheet.getRange("A1").getValue(); 5 var options = { 6 headers: { 7 'accept-language': 'ja', 8 'muteHttpExceptions' : true 9 } 10 }; 11//Googleサジェストの取得 12 var response = UrlFetchApp.fetch("https://www.google.co.jp/complete/search?hl=jp&output=toolbar&q="+encodeURI(keyWord), options ); 13 var Regexp = /<suggestion data="([\s\S]*?)"/>/gi; 14 sheet.getRange('D1:F10').clear(); 15 var items = response.getContentText().match(Regexp); 16 var suggestions = [] 17 for(var i in items) { 18 var result = items[i].replace(/<suggestion data="/, "").replace(/"/>/, ""); 19 suggestions.push([result, getRival(result), getDemand(result)]); 20 } 21 var ash = SpreadsheetApp.getActiveSpreadsheet() 22 var pushsheet = ash.getSheetByName("data") 23 pushsheet.getRange(1, 4, suggestions.length, 3).setValues(suggestions) 24} 25 26//Googleの検索結果数を取得 27function getRival(keyWord) { 28 var response = UrlFetchApp.fetch("https://www.google.co.jp/search?q="+encodeURI(keyWord)); 29 var tmp = response.getContentText().match(/id="resultStats">約 ([\s\S]*?)件</div>/) 30 if(!tmp) { return 0 } 31 return tmp[1]; 32} 33 34//Googleの検索需要を取得 35function getDemand(keyWord) { 36 var response = UrlFetchApp.fetch("http://aramakijake.jp/keyword/index.php?keyword="+encodeURI(keyWord)); 37 var tmp = response.getContentText().match(/id="retrievals">([\s\S]*?)</div>/)[0] 38 if(!tmp) { return 0 } 39 var tmp2 = tmp.match(/alt="Google"\s/>\s<span>([\s\S]*?)</span>/); 40 return !tmp2 ? 0 : tmp2[1] 41}
###試したこと
10回ほど連続実行 ⇛ 取得する場合あり。
###補足情報(言語/FW/ツール等のバージョンなど)
Googleスプレッドシート
GoogleAppsScript
あなたの回答
tips
プレビュー