GASの高速化を測りたいが、方法が思いつきません

Question

気象庁がWEBで提供するCSVファイルをGoogleAppsScriptでスクレイピングしてスプレッドシートに反映する仕組みを、本サイトでご助言も頂きながら構築中です。全国データから北海道分を抜き出して、スプレッドシートに出力する仕組みです。

下のようなコードを書いてみましたが、一回の処理に２０秒以上かかります。同じ処理を繰り返しているので、仕方ないのでしょうか。

タイムアウトになることはないので、このままでも構わないのですが、高速化する方法が何か考えられるなら、ご教唆頂けると幸いです。

spreadsheet = null;
sheetMap = [];

function auto_csv() {

    //★1時間降水量
    var url_1h = "https://www.data.jma.go.jp/obd/stats/data/mdrr/pre_rct/alltable/pre1h00_rct.csv";
    var response_1h = UrlFetchApp.fetch(url_1h);
    var data_1h = response_1h.getContentText("Shift_JIS");
    var sheet_1h = _getSheetByName("Rain1h");
    var csv_1h = Utilities.parseCsv(data_1h);
    var result_1h = csv_1h.filter(function(value){
    if(value[1].indexOf('北海道')!==-1){
      return value
      }});
    sheet_1h.getRange(2, 1, result_1h.length, result_1h[0].length).setValues(result_1h);
    
    //★3時間降水量
    var url_3h = "https://www.data.jma.go.jp/obd/stats/data/mdrr/pre_rct/alltable/pre3h00_rct.csv";
    var response_3h = UrlFetchApp.fetch(url_3h);
    var data_3h = response_3h.getContentText("Shift_JIS");
    var sheet_3h = _getSheetByName("Rain3h");
    var csv_3h = Utilities.parseCsv(data_3h);
    var result_3h = csv_3h.filter(function(value){
    if(value[1].indexOf('北海道')!==-1){
      return value
      }});
    sheet_3h.getRange(2, 1, result_3h.length, result_3h[0].length).setValues(result_3h);

    //★6時間降水量
    var url_6h = "https://www.data.jma.go.jp/obd/stats/data/mdrr/pre_rct/alltable/pre6h00_rct.csv";
    var response_6h = UrlFetchApp.fetch(url_6h);
    var data_6h = response_6h.getContentText("Shift_JIS");
    var sheet_6h = _getSheetByName("Rain6h");
    var csv_6h = Utilities.parseCsv(data_6h);
    var result_6h = csv_6h.filter(function(value){    
    if(value[1].indexOf('北海道')!==-1){
      return value
      }});   
    sheet_6h.getRange(2, 1, result_6h.length, result_6h[0].length).setValues(result_6h);

    //★12時間降水量
    var url_12h = "https://www.data.jma.go.jp/obd/stats/data/mdrr/pre_rct/alltable/pre12h00_rct.csv";
    var response_12h = UrlFetchApp.fetch(url_12h);
    var data_12h = response_12h.getContentText("Shift_JIS");
    var sheet_12h = _getSheetByName("Rain12h");
    var csv_12h = Utilities.parseCsv(data_12h);
    var result_12h = csv_6h.filter(function(value){    
    if(value[1].indexOf('北海道')!==-1){
      return value
      }});    
    sheet_12h.getRange(2, 1, result_12h.length, result_12h[0].length).setValues(result_12h);        
    
    //★24時間降水量
    var url_24h = "https://www.data.jma.go.jp/obd/stats/data/mdrr/pre_rct/alltable/pre24h00_rct.csv";
    var response_24h = UrlFetchApp.fetch(url_24h);
    var data_24h = response_24h.getContentText("Shift_JIS");
    var sheet_24h = _getSheetByName("Rain24h");
    var csv_24h = Utilities.parseCsv(data_24h);
    var result_24h = csv_24h.filter(function(value){
    if(value[1].indexOf('北海道')!==-1){
      return value
      }});   
    sheet_24h.getRange(2, 1, result_24h.length, result_24h[0].length).setValues(result_24h);    
    
    //★48時間降水量
    var url_48h = "https://www.data.jma.go.jp/obd/stats/data/mdrr/pre_rct/alltable/pre48h00_rct.csv";
    var response_48h = UrlFetchApp.fetch(url_48h);
    var data_48h = response_48h.getContentText("Shift_JIS");
    var sheet_48h = _getSheetByName("Rain48h");
    var csv_48h = Utilities.parseCsv(data_48h);
    var result_48h = csv_48h.filter(function(value){
    if(value[1].indexOf('北海道')!==-1){
      return value
      }});       
    sheet_48h.getRange(2, 1, result_24h.length, result_24h[0].length).setValues(result_24h);    
    
    //★72時間降水量
    var url_72h = "https://www.data.jma.go.jp/obd/stats/data/mdrr/pre_rct/alltable/pre72h00_rct.csv";
    var response_72h = UrlFetchApp.fetch(url_72h);
    var data_72h = response_72h.getContentText("Shift_JIS");
    var sheet_72h = _getSheetByName("Rain72h");
    var csv_72h = Utilities.parseCsv(data_72h);
    var result_72h = csv_72h.filter(function(value){
    if(value[1].indexOf('北海道')!==-1){
      return value
      }});      
    sheet_72h.getRange(2, 1, result_72h.length, result_72h[0].length).setValues(result_72h);
}

//第2関数
function _getSpreadSheet(){
  if ( ! spreadsheet) {
    spreadsheet = SpreadsheetApp.getActive();
    }
    return spreadsheet;
  }

//第3関数
function _getSheetByName(name){
  if ( ! sheetMap[name]) {
    sheetMap[name] = _getSpreadSheet().getSheetByName(name);
    }
    return sheetMap[name];
  }

Comments

[kyoya0819]

処理以前にダウンロードにはどのくらいの時間がかかってますか？

[tatsu3]

正確な時間を測る知識がないので、（お恥ずかしながら）原始的にPC画面を動画で撮って、大まかな時間を確かめてみたのですが、７枚のシート全てにデータが出力されるまで、およそ１６秒くらいでした。
初心者ですので教えて頂きたいのですが、実行ボタンを押すと上部に出る「Preparing for execution 」→「Running Function...」の表示が消えるまでが、処理時間という考え方でいいのでしょうか？
今、何回か試して気付いたのですが、昨日時間を測ったときは、「Preparing....」が表示される時間が結構長い場合が多くてイライラしました。ですが、今日はそれほどでもない感じがします。昨日は職場のPCで、本日は自宅のPCで試しています。PCの性能やネット環境などによって処理時間、出力時間が変わることもありえるのでしょうか。

[kyoya0819]

変わらないと断言はできないです。
実際、わたしの家と家の外のプログラミング環境（4Gじゃなくて勤め先みたいな意味合い）では体感速度全然違いますし、家の外のプログラミング環境でも最大で接続数は500機器前後時間によって変わってしまうのでそれによって速度はかなり変わります。あとは、無線通信だとWifiの規格だったり有線でも聞きやケーブルの規格によって変わることは多々あります。

[tatsu3]

ありがとうごさいます。そういうものなんですね。
そもそも15〜20秒の処理（出力）時間で「遅い」と思うのが適当ではないのでしょうかね？　同じ処理をくりかえしているので、素人ながら、どこかに効率化の余地があるのでは？と詮索してみたのですが。
違うWEBデータを違うシートに出力するので、やはり仕方ないのでしょうか。

Answer 1

すでに解決済みですが、思いつきを書いてみます。

UrlFetchApp.fetch()の呼び出しは並列化しても問題なさそうなので、UrlFetchApp.fetchAll()に変えるといいかもしれません。
こちらを読むとUrlFetchApp.fetchAll()は並列処理されるようなのでfetchがボトルネックなら高速化が期待できます。

Comments

[tatsu3]

どうもありがとうございました。UrlFetchApp.fetchAll。初めて知りました。ぜひ勉強してみます。取り急ぎお礼申し上げます。

Answer 2

冗長な記述はありますが、特別時間がかかるような処理はなさそうに見えます。
スクレイピング先がデータ生成（呼び出し？）するのに相当の時間がかかってるんじゃないでしょうか。
それならこちら側ではどうしようもないということになろうかと思います

ブラウザでその７枚の画面を表示するのにどれぐらいの時間かかるのかを見れば、処理時間が妥当なものかはわかるかと思いますが。

Comments

[tatsu3]

「特別時間がかかるような処理はなさそう」と言って頂き、納得しました。許容範囲と考えるべきですね。どうもありがとうございました。
追加質問をして下さった方にも感謝申し上げます。
また宜しくお願い致します。