GASでGoogleサジェストの一括取得をしたい

Question

前提・実現したいこと

GASについてあまり詳しくないのですがググってもやりたいことを解決する方法が見つからなかったのでご相談させてください。

Googleサジェストの一括取得のスクレイピングをしたいのです。
調べたいキーワードが例えば、GASであれば、GAS + A~z、あ〜んをグーグル検索した場合のサジェストを一括で取得するようにしたいです。
該当のキーワードであるGASをA列に入れて、B列にGoogleサジェストの一覧を表示で取得できるようにしたいのですが、やり方がイマイチわかりません。

Google スプレッドシート

A列	B列
kw	kw +aの予測1
	kw +aの予測2
	kw +aの予測3
	︙
	kw +bの予測1
	kw +aの予測2

該当のソースコード

//サジェスト取得
function test(){
  var ss = SpreadsheetApp.getActive().getSheetByName('test');
  var kw = ss.getRange("A1").getValue();
  var word = [" a"," b"," C"];
  var url = "http://www.google.com/complete/search?hl=ja&output=toolbar&q="+kw +word ;"//suggestion/@data" ;
  var res = UrlFetchApp.fetch(url).getContentText();
var values = XmlService.parse(res).getRootElement().getChildren("CompleteSuggestion").map(function(e) {return [e.getChild("suggestion").getAttribute("data").getValue()]});
ss.getRange(1, 3, values.length, values[0].length).setValues(values);
}

このソースの中の

  var word = [" a"," b"," C"];
  var url = "http://www.google.com/complete/search?hl=ja&output=toolbar&q="+kw +word ;"//suggestion/@data" ;

ここをループさせたい

"http://www.google.com/complete/search?hl=ja&output=toolbar&q="+kw + a ;"//suggestion/@data"

"http://www.google.com/complete/search?hl=ja&output=toolbar&q="+kw + b ;"//suggestion/@data"

"http://www.google.com/complete/search?hl=ja&output=toolbar&q="+kw + c ;"//suggestion/@data"

〜〜〜
"http://www.google.com/complete/search?hl=ja&output=toolbar&q="+kw + z ;"//suggestion/@data"


"http://www.google.com/complete/search?hl=ja&output=toolbar&q="+kw + あ ;"//suggestion/@data"

〜〜〜
"http://www.google.com/complete/search?hl=ja&output=toolbar&q="+kw + ん ;"//suggestion/@data"

みたいな形でサジェストの一覧を取得してB列に吐き出したいのですが、どのようにすればいいのでしょうか？

Comments

[macaron_xxx]

とりあえず質問を書いてもらっていいですか？

[yama-moto]

すいません、途中で送信してしまってました、、、、

Answer 1

別の案として次のような修正はいかがでしょうか。いろいろなパターンがありますので、これもその一つとしてお考え下さい。この案では、非同期でリクエストを実行できるfetchAllメソッドを使用しました。最初にwordを使ってリクエストを用意し、そのリクエストをUrlFetchApp.fetchAll(reqs)で実行して値を取得します。その後、スプレッドシートへ配置するための値を作成し、それを配置しています。

修正したスクリプト

function test(){
  var ss = SpreadsheetApp.getActive().getSheetByName('test');
  var kw = ss.getRange("A1").getValue();
  var word = [" a"," b"," C"];
  var reqs = word.map(function(e) {return {url: "http://www.google.com/complete/search?hl=ja&output=toolbar&q=" + kw + e}});
  var res = UrlFetchApp.fetchAll(reqs);
  var values = res.reduce(function(ar, e, i) {return ar.concat(XmlService.parse(e.getContentText()).getRootElement().getChildren("CompleteSuggestion").map(function(f, j) {return [f.getChild("suggestion").getAttribute("data").getValue()]}))}, []);
  ss.getRange(1, 2, values.length, values[0].length).setValues(values);
}

参考

• fetchAll method
• Benchmark: fetchAll method in UrlFetch service for Google Apps Script

Comments

[yama-moto]

これでうまく出来ました！ありがとうございます！！！

[kisojin]

無事解決したとのことで安心しました。ご連絡有難うございました。

Answer 2

ちょっとブサイクなのかなぁ…。

//サジェスト取得
function test(){
  var ss = SpreadsheetApp.getActive().getSheetByName('test');
  var kw = ss.getRange("A1").getValue();
  var words = "abcdefghijklmnopqrstuvwxyzあいうえおかきくけこさしすせそたちつてとなにぬねのはひふへほまみむめもやゆよらりるれろわをん";
  
  var arr = [];
  words.split('').forEach(function(w) {
    var url = "http://www.google.com/complete/search?hl=ja&output=toolbar&q=" + kw + " " + w + "//suggestion/@data";
    var res = UrlFetchApp.fetch(url).getContentText();
    var values = XmlService.parse(res).getRootElement().getChildren("CompleteSuggestion").map(function(e) {return [e.getChild("suggestion").getAttribute("data").getValue()]});
    arr = arr.concat(values);
  });
  
  ss.getRange(1, 2, arr.length, arr[0].length).setValues(arr);
}