gasを利用しgmail本文の文字列(繰り返し)をすべてスプレッドシートに抽出する方法

Question

前提・実現したいこと

以前、同じような質問をしましたが、そちらは解決し
新たな問題発生のため質問しました

今回は、google apps scriptを利用した際にメール本文側に問題があった時の対処法をお教えいただけたらと思い質問させていただきました。

※注意：今回のプログラムはメールに送信されたカード決算の合計を計算するために作成しようとしています。

メール本文から抽出したいのは、「利用日」「利用先」「利用金額」の三点です

発生している問題・エラーメッセージ

メール本文の中に読み取りたい箇所が二か所以上ある場合一番上のものしか読み込んでくれない

　○○様

いつもカードをご利用頂きありがとうございます。
お客様のカードご利用明細の内容をお知らせいたします。

ご利用カード：○○

◇利用日：2021/10/26
◇利用先：○○商店
◇利用取引：買物
◇利用金額：990円

◇利用日：2021/10/31
◇利用先：○○デパート
◇利用取引：買物
◇利用金額：680円

とあった場合、上の26日の支払い分しかスプレッドシートに抽出できない

該当のソースコード

function getPayments() {
  // メール検索クエリを作成
  const SUBJECT = 'お支払金額のお知らせ'; // 利用お知らせメールの件名
  const SUBJECT2 = 'ご指定金額到達のお知らせ';
  const ADDRESS = '[e-mail]'; // お知らせメールの送信元
  const LABEL_NAME = '読み込み済み'; // ラベル名
  const LABEL_NAME2 = 'カード利用明細メール';
  const QUERY = '-subject:' + SUBJECT + '-subject:'+ SUBJECT2 + ' from:' + ADDRESS + ' -label:' + LABEL_NAME +  ' label:' + LABEL_NAME2 ;

  // メールを検索
  var threads = GmailApp.search(QUERY);

  // 該当メールがあった場合
  if(threads.length > 0) {
    const KEYWDS  = ['利用日：', '利用先：', '利用金額：', '利用取引：'];
    const LABEL = GmailApp.getUserLabelByName(LABEL_NAME);

    var msgs = GmailApp.getMessagesForThreads(threads);
    var sheet = SpreadsheetApp.getActiveSheet();

    for(i=0; i<msgs.length; i++){
      // 本文を取得
      Body = msgs[i][0].getBody();
      if(Body.match(/利用先：.*/)){

        
      sheet.appendRow([
        Body.match(/利用日：.*/g)[0].replace(KEYWDS[0], ''),
        Body.match(/利用先：.*/)[0].replace(KEYWDS[1], ''),
        Body.match(/利用金額：[\d,]+/)[0].replace(KEYWDS[2], ''),
      ]);
      }else{
        sheet.appendRow([
        Body.match(/利用日：.*/g)[0].replace(KEYWDS[0], ''),
        Body.match(/利用取引：.*/)[0].replace(KEYWDS[3], ''),
        Body.match(/利用金額：[\d,]+/)[0].replace(KEYWDS[2], ''),
      ]);
      }
     // 処理の完了後、ラベルを付与
      threads[i].addLabel(LABEL);
    };

    // 料金列に通貨表示を適用
    amounts = sheet.getRange('B:B');
    setCurrencyLayout(amounts);
  }
}

// 選択セルを通貨表示にフォーマット
function setCurrencyLayout(range) {
  range.setNumberFormat('[$¥-411]#,##0');
}

回答に求めたいこと

この質問での最終目標は、

二個ある決済記録を両方別々にスプレッドシートに書き込む

この1点です。

補足情報（FW/ツールのバージョンなど）

改変元のソースコードは
こちらの

@shika-e様作成のクレジットカード利用明細を自動で作るGoogle Apps Script
引用テキストhttps://qiita.com/shika-e/items/2e88df51b748c85fbd15

となっています。

回答いただけたら幸いです。
よろしくお願いします。

Comments

[jimbe]

java ではないようです。javascript であれば、そのようにタグを変更して頂けますか。

[mixa3328]

大変失礼しました。
正確にはgoogle apps scriptのみです。
よろしくお願いします

Answer 1

この質問での最終目標は、
二個ある決済記録を両方別々にスプレッドシートに書き込む
この1点です。

引用元のコードに対して行われた加工から、明細として利用先がないパターンを想定しないといけないのだと認識しています。

↑の時点でメールの明細のバリエーションの想定が実例を見ない絞り込めないので、便宜的に「利用日」で始まる複数行のまとまりのなかに、取得したい情報がまとまっていることを仮定しました。

その複数行のまとまりのなかから、必要と思われる情報を埋めて 1 行分の明細として取得するようにしました。

余談ですが、利用先と利用取引の出現関係がわからない限りは"明細のまとまり"を認識するように処理する方向で考えるのかなと思います。
空白行は明細の区切りとしては利用できなさそうです。
◇が先頭にくることが確定できていれば、利用日が先頭でない場合に対応することは可能だと思います。
「：」も他の文中に出て来そうで、明細を識別する方法として微妙かなと思いました。

const q365736 = () => {
    // メール検索クエリを作成
    const subjectToInclude = 'お支払金額のお知らせ'; // 利用お知らせメールの件名
    const subjectToExclude = 'ご指定金額到達のお知らせ';
    const sender = '[e-mail]'; // お知らせメールの送信元
    const read = '読み込み済み'; // ラベル名
    const creditUsage = 'カード利用明細メール';
    const query = `subject:${subjectToInclude} -subject:${subjectToExclude} from:${sender} -label:${read} label:${creditUsage}`;

    const threads = GmailApp.search(query);

    // 条件に合致するメールを含むスレッドがないので終わる
    if(threads.length < 1) {
        return;
    }
    const labelToSet = GmailApp.getUserLabelByName(read);
    const threadMessages = GmailApp.getMessagesForThreads(threads);
    const sheet = SpreadsheetApp.getActiveSheet();
    for(let i = 0; i < threadMessages.length; i++){
        const body = threadMessages[i][0].getBody();
        for(const row of parseTextToRow(body)) {
            sheet.appendRow(row)
        }
        // 処理の完了後、ラベルを付与して、次の実行時にヒットしないようにする。
        threads[i].addLabel(labelToSet);
    }

    // 料金列に通貨表示を適用
    const amounts = sheet.getRange('C:C');
    setCurrencyLayout(amounts);

}
function* parseTextToRow(text) {
    const lines = text.split("\n");
    const dateIndicator = /利用日：(.*)/;
    const shop = /利用先：(.*)/;
    const contractType = /利用取引：(.*)/;
    const amount = /利用金額：([\d,]+)/;
    const starts = lines.reduce((a,c,i)=> dateIndicator.test(c) ? [...a,i]: a,[]);
    const ends = starts.slice(1).concat(lines.length);
    const poses = starts.map((s,i)=>[s,ends[i] - 1]);
    for(const [s,e] of poses) {
        let candidate = ["","","",""];
        for(let i = s; i <= e; i++) {
            const line = lines[i];
            if(dateIndicator.test(line)) {
                candidate[0] = line.match(dateIndicator)[1];
                continue;
            }
            if(amount.test(line)) {
                candidate[1] = line.match(amount)[1];
                continue;
            }
            if(shop.test(line)) {
                candidate[2] = line.match(shop)[1];
                continue;
            }
            if(contractType.test(line)) {
                candidate[3] = line.match(contractType)[1];
                continue;
            }
        }
        yield [candidate[0],(candidate[2] || candidate[3]) ,candidate[1]];
    }
}

// 選択セルを通貨表示にフォーマット
const setCurrencyLayout = (range) => range.setNumberFormat('[$¥-411]#,##0');

Comments

[mixa3328]

回答ありがとうございます。
説明が足りませんでした。
メールのバリエーションとして
上記質問本文(利用日から始まる複数列が一つのものから複数あるものまで)とともに
コメント欄に書かせていただくものがございます。
ホール本文として
```メール
ご利用カード：○○カード

◇利用日：2021/04/24
◇利用取引：買物
◇利用金額：2,700円
```
のようになっており
利用先のみ消滅しているような本文となっております。

そして、この度いただいたコードなのですが、実行しても一秒足らずで終了してしまいます。
検索にヒットするメールがないのでしょうか？
また、初心者質問で恐縮ですが
コードをマルコピして利用させていただいたのですが、「constで始まるコード部分」と「function* parseTextToRow」とが、わかれているためうまく機能しているのかわからなくなってしまいました。

いろいろお教えいただけると幸いです。
よろしくお願いします。

[papinianus]

ヒットしてないんじゃないですかね。
メールフォルダがみえないので、わからないです。
> const query = `subject:${subjectToInclude} -subject:${subjectToExclude} from:${sender} -label:${read} label:${creditUsage}`;
を
> const query = `-subject:${subjectToInclude} -subject:${subjectToExclude} from:${sender} -label:${read} label:${creditUsage}`;
に戻してください（これ間違いじゃなかったんですね。）

その書き方のパターンには対応しているはず。

qなんちゃらのやつだけ実行すればいいようになってます。