GASのスクレイピングを失敗したときの処理

Question

スプレッドシートにURLを記述すると<title>タグ、デスクリプション、カノニカルを取得する下記のコードをGASで作成したのですが、
途中で存在しないURLが入っているとその列の<title>タグ等の入力をスキップし、そのままその後のURLの値が入ってしまうため最終的に1列ズレてしまいます。
存在しないURLまたは間違っているURLを入力した際にスキップではなくその列に「エラー」等の文字列を入力し、ズレが起きないようにしたいのですが
もしその方法がわかる方がいらっしゃいましたらご助力お願いしたいです。よろしくお願いいたします。

function TDextract(){
  const sheet = SpreadsheetApp.getActiveSheet(),
        startRow = 2,
        startCol = 6,
        URLListRow = startRow - 1,

        metaInfo = [
          {
            outName:'desc',
            name:'name',
            prop:'description',
          }
        ]
 
 
  /*
  ========================================
  以下 script
  ========================================
  */
  
  // clear cell
  for (let i = startRow; i <= sheet.getLastColumn(); i++){
    const dataRange = sheet.getRange(startCol,i,sheet.getLastRow());
    dataRange.clearContent();
  }
 
  // create url data
  const urlData = sheet.getRange(startCol,URLListRow,sheet.getLastRow() - 1).getValues();
  let ary = '';
  for (var a = 0; a<urlData.length;a++){
    if(urlData[a][0]){
      ary = ary + String(urlData[a][0]) + ','
    }
  }
  ary = ary.split(',');
  ary.pop();
 
 
  // header option
  const options = {
    method: "GET",
    "muteHttpExceptions" : true,
    "validateHttpsCertificates" : false,
    "followRedirects" : false
  }
  let result = [];
 
  // get html data
  for(var i = 0; i < ary.length; i++){ 
　　try { 
　　　let obj = Object.assign({});
　　　let r = Object.assign({});
　　　let resultURL = ary[i];
　　　const res = UrlFetchApp.fetch(resultURL,options);
      const content = res.getContentText()
      const $ = Cheerio.load(content);
      obj.title = $('title').text();
            metaInfo.forEach((v)=>{
        const reg = new RegExp(v.prop,'g');
        if(content.match(reg)){
          obj[v.outName] = $(`meta[${v.name}="${v.prop}"]`).attr("content");
        }else{
          obj[v.outName] = false;
        }
      })
      obj.canonical = $('link[rel="canonical"]').attr('href');

      r.props = Object.assign({},obj);
 
      result.push(r);
 
      obj = null;
      r = null;
      Utilities.sleep(1000);
    } catch(e) {
      console.log('Error:'+e);
    }
  }
 
  // draw cell
  result.forEach((d,r)=>{
    Object.keys(d.props).forEach((k,i)=>{
      const row = startCol + r;
      const col = startRow + i;
      sheet.getRange(row, col).setValue(d.props[k]);
    })
  })
}

Answer 1

ズレる原因

・URLの内容を正常に読み取れた時は

       result.push(r);

で、データが追加されます。

・一方、URLが存在しない場合など、例外が発生したときは catch節にジャンプして、エラー内容を表示した後、次のループに移行します。
このとき（＝catch節にジャンプしたとき）、resultに何も追加していないから、ズレてしまいます。

解決策

正常時だけでなく、例外発生時にも、何らかのデータをresultに追加するようにしてはいかがでしょうか。

cheerioのドキュメント＠GitHubを流し読みしたところ、
load関数にHTMLをそのまま突っ込めば、突っ込んだHTMLをパースしてくれるらしいということがわかります。
（<title>タグだけ入れて試したら、タイトルとして認識してくれました）

修正後のコード

(略)
  // get html data
  for (var i = 0; i < ary.length; i++) {

    let obj = Object.assign({});
    let r = Object.assign({});
    let resultURL = ary[i];
    let content;
    try {
      const res = UrlFetchApp.fetch(resultURL, options);
      content = res.getContentText();
    } catch (e) {
      console.log(`Error:${e}`);
      content = "<title>エラー</title>"
    }

    const $ = Cheerio.load(content);
    obj.title = $('title').text();
    metaInfo.forEach((v) => {
      const reg = new RegExp(v.prop, 'g');
      if (content.match(reg)) {
        obj[v.outName] = $(`meta[${v.name}="${v.prop}"]`).attr("content");
      } else {
        obj[v.outName] = false;
      }
    })
    obj.canonical = $('link[rel="canonical"]').attr('href');

    r.props = Object.assign({}, obj);

    result.push(r);

    obj = null;
    r = null;
    Utilities.sleep(1000);
  }
(以下略)

Comments

[basara]

遅くなって申し訳ございません。
教えていただいたコードを使用させていただいた所、無事ズレなくなりました！
本当にありがとうございます！！