Javascriptの置換を、長い単語から行うようにしたい。

Question

現在、Gmailで添付した画像からOCRでテキストを取得し、そのテキスト内の単語と、事前に設定したスプレッドシートの単語とURLのリストで一致するものを置換し、返信するところまでは出来ます。

しかし、「東京」「東京都」「東京都知事」といった単語をリストに設定し、置換した際に「東京都知事」で置換されず「東京」のみがハイパーリンクに置換されるようになっています。

スプレッドシートのリストを文字列の長さ順に並び替えたので、これを上から順番に置換するようにできれば「東京都知事」になるのではないかと考えたのですが、その方法がわかりません。上から順番に置換するよう設定する以外の方法でも、目的が達成可能なものでしたら構いません。

また、一度「東京」で置換を行うと、その後「東京」の文字列があっても置換が行われなくなります。この問題を解決することは可能でしょうか。

添付画像　この画像をGmailに添付して送信する

---

単語リスト　置換したい単語とURLを文字列の長さ順でスプレッドシートに

---

置換結果　「東京都知事」で置換されず、「東京」のハイパーリンクのみ。また、それ以後の「東京都知事」「東京都」「東京」の文字も置換できない結果となる。置換が行われると単語の前後にスペースができることから、おそらくハイパーリンクとして表示されている「東京」だけでなく「東京都知事」「東京都」としても置換処理が行われたために、それ以後もできなくなっている。

　

追記画像　　回答のアドバイスのおかげで「東京都知事」で置換されるようになりました。最初の単語以降はできない。

---

理想の置換結果　長い単語を短い単語で分割することなく、すべての単語が置換されるようにしたい。

---

function parseGmail() 
{
  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var sheet = ss.getSheetByName('シート1');
  var settings = ss.getSheetByName('設定');
  
  var recipient = settings.getRange('A2').getDisplayValue();
  var senderName = settings.getRange('B2').getDisplayValue();
  var receivedFrom = settings.getRange('C2').getDisplayValue().trim();
  
  var body1 = settings.getRange('A4').getDisplayValue();
  var body2 = settings.getRange('B4').getDisplayValue();
  var subject = settings.getRange('C4').getDisplayValue();
  
  
  var val = sheet.getDataRange().getDisplayValues();
  var threads = GmailApp.search('from:'+receivedFrom+' has:attachment newer_than:1d; is:unread');
  var param = {
    title: 'OCR File',
    mimeType: 'image/png'
  };
  var arr = '';
  for(var i in threads)
  {
    var messages = threads[i].getMessages();
    for(var j in messages)
    {
      var attachments = messages[j].getAttachments();
      for(var k in attachments)
      {
        var file = attachments[k];
        var type = file.getContentType();
        if(type.match('image'))
        {
          var OCR = file.copyBlob();
          var textDoc = Drive.Files.insert(param, file, {ocr: true});
          var url = textDoc.alternateLink;
          var doc = DocumentApp.openByUrl(url);
          var id = doc.getId();
          var text = doc.getBody().getText();
          doc.saveAndClose();
          Drive.Files.remove(id);          
          text = text.replace(/\n/g, '').replace(/\s/g, '');
          var ret = ProcessText(val, text);
          if(ret !== false)
          {
            var body = body1 + ret +body2;
            body = body.trim();
            MailApp.sendEmail(
              {
                to: recipient,
                subject: subject,
                name: senderName,
                htmlBody: body
              })
          }
        }
      }
      messages[j].markRead();
    }
  }
}


function ProcessText(val, text)
{
  try
  {
    var ahref = '<a href="#URL#" target="blank">';
    var newText = text;
    for(var i in val)
    {
      var word = val[i][0].toString().toUpperCase();
      var check = newText.match(word);
      if(check !== null)
      {
        var Url = val[i][1];
        newText = newText.replace(word, ' <a href="'+Url+'" target="blank">' +word+ '</a> ');
      }
    }
    return newText.trim();
  }
  catch(err)
  {
    return false;
  }
}

---

補足：タイムアウトしている様子

g

Answer 1

function q236809() {
    const str = '東京都知事が東京都の財政について、道知事や府知事、特に大阪府知事と東京のある場所で語った。';
    const arr = [["東京都知事","tky_chiji"],["東京都","tky_metro"],["東京", "tky"],["大阪府知事","osk_chiji"],["大阪府","osk_metro"],["府知事", "fuchiji"], ["、", "punct"]];
    Logger.log(ProcessText(arr, str));
}
function ProcessText(val, text)
{
    const dic = val.reduce(function (a,c) {
        a[c[0]] = c[1];
        return a;
    },{});
    var poses = toPos(text);
    Object.keys(dic).forEach(function (e) { getPoses(text,e).forEach(function (f) { if(poses[f] < f + e.length) { poses[f] = f + e.length;}})});
    var cursor = 0;
    var ret = "";
    for(var s = 0; s < poses.length;) {
        var e = poses[s];
        if (s === e) { s++; continue;}
        var needle = text.substring(s,e);
        ret += text.substring(cursor,s) + anchor(needle, dic[needle]);
        cursor = e;
        s = e;
    }
    ret += text.substring(cursor);
    return ret;
}
function anchor(word, url) {
    return ' <a href="'+url+'" target="blank">' +word+ '</a> ';
}
function toPos(str) {
    return str.split("").map(function(_,i){ return i;});
}
function getPoses(haystack, needle) {
    var ret = [];
    var pos = haystack.indexOf(needle);
    const len = needle.length;
    while (pos !== -1) {
        ret.push(pos);
        pos = haystack.indexOf(needle, pos + len);
    }
    return ret;
}

ProcessText を作り直しました。ついでに補助関数を定義。
q2368089() で検証。
arrが、シートに書いてあるキーワードのサンプル。str は置換対象の文章。
想像している要件は、同じワードがくりかえし出現しても対応する、マッチする範囲が重複したとき、先に開始し他のワードに包含されないものを採用する、ということ。
例えば、東京都立と都立大学がキーワードとしてあったとき、このコードだと、東京都立が優先する。この辺どうなんでしょう。要件が不明でした。なお、このコードだと後者が都立航空高専であっても、東京都立を優先してしまう。だからロンゲストマッチですらない。

今回は、データを加工できるとわからない（それは回答者には決められないから）状態で加工せずに解決できそうな方法として提示しました。

で、こういう面倒なコードをかくより、そのシートで東京都知事と東京都と東京は同じurlであるか、もしくは、東京都知事と東京都と東京が同じグループなんだということをC列にグルーピング順位として持たせて、同じグループなら、より文字の長いものを優先することにすれば、質問者様の ProcessText のループをいじるだけでできそう（できるとは言ってない）。データにグルーピングおよびグルーピングが順位として表現されていれば東京都立と都立航空高専の優先度を人間の意図どおり表現できる。

Comments

[Beginner3]

回答ありがとうございます！追記画像のように「東京都知事」で置換されるようになりました。
ただ、最初の単語のみで終わってしまうので、それ以降の単語も置換をするにはどうすればよいでしょうか。

[papinianus]

あーそれ考えてなかったです。
ちょっと時間かかるかも。考えてみます。

[Beginner3]

ありがとうございます。q2368089()を実際に使う際の単語に置き換えて検証したところ、ほとんど理想の形で置換されるようになりました！

また、手取り足取り教えていただいてさらに質問するのは恐縮ですが、作り直していただいたProcessTextに置き換えると、作動しなくなり、色々いじっては見たもののGmailで返信させることはできませんでした。どこを修正すれば良いか見当つきますでしょうか。

[papinianus]

作動しない、といえのは具体的には、エラーがないけどメールが送られない、ということですか？もうちょっとヒントください。
既存のProcessTextを消した上で、qで始まらない4つの関数を全てコピーして、貼り付ける操作を想定しています。3つが足りてなかったらエラーになるのでこの説は外していると想定

[Beginner3]

既存のProcessTextを削除し、最初のq2368089()以外の関数を貼り付けるところまでは出来ていると思います。

[papinianus]

作動しない、を具体的に教えてください。

拝見しましたが、その貼り付けで想定しているとおりです。
あと、parseGmail のループの中で ProcessText を実行している直前で、val と text に想定のデータが入っているか、Logger.log() を実行するなどしてご確認いただけませんか。

[Beginner3]

実行すると全てタイムアウトになり、エラーは出ませんがメールは返信されません。Gmailに添付画像を含む未読メールがない際にはタイムアウトにはなりません。

[papinianus]

ちなみに対象のメールは何通でしょう？メール全体の件数の規模感と添付があるメールの件数の規模感をしりたいです。

あと、以前のコードではタイムアウトになってなかったことを念の為確認したいです。

[Beginner3]

検証専用のメールアドレスで行っているので、1枚の添付画像を含む未読メールは一通のみです。既読メールは50通ほどあります。たった今以前のコードで試しましたが、7.171 秒で終了し返信されました。

Answer 2

Javascriptの置換を、長い単語から行うようにしたい。

置換処理の直前でソートしてはいかがでしょう？

二重配列

var samples = [["a","rep1"],["abc","rep2"],["ab","rep3"]];
samples.sort((a,b)=> b[0].length-a[0].length);
console.log( samples ); 
// [["abc","rep2"],["ab","rep3"],["a","rep1"]]

また、置換は、正規表現を使うと早いかと思います

dst = src;
for( let [w, r] of samples ) {
  dst = dst.replace( new RegExp(w,"g"), ()=>anchor(w,r) );
}

追記）
ごめんなさい。
置換処理はテキストの例で回答をしてしまっていました。
スプレッドシートの場合も「直前のソート」は応用できるかと思います。