Gmail の検索取得で、検索結果と少し違う内容が取得される件など

Question

POPのメールをGmail受信し、それをGASで取り込んでSpreadsheetに記載しています。
ある程度うまく動いていますが、やっているうちにいくつか問題が生じていることに気付きました。
内容は問い合わせフォームの受信です。

以下の点について、（複数点あり申し訳ないですが）教えていただけるとありがたいです、

・検索条件にあてはまるメールを含む、スレッドを受信し、そのスレッドの最初のもの、配列[0]のメールが、欲しい、問い合わせフォームであり、[1]以降は、それへの返信だと考えていました。それで配列[0]のものを取得してく形にしていました。

・しかし、どうやら、それだといくつか漏れてしまっているようなのです。すなわち、Webのフォームから送られた、初回のメールであるにもかかわらず、2回目以降のように（配列[1]以上のもの）として扱われているようなのです。そのようなことは、起こりうるのでしょうか？
直接にGmailに送られているメールではなく、POPのメールを受信できる設定にして、Gmailで受信しているので、また、フォームのデータ自体は相互に大変似ているので、そのようなことが起こってしまっているのでしょうか？　

・また、Gmailの他のアカウントで、同じPOPメールを、同じ方法で受信した人（別の担当者）が、このプログラムを実行すると、メールのIDが異なったものとなってしまいます。てっきりグローバルに一意のものかと思っていたのですが、確かに受信の仕方なども違いますし、そうなってしまうのかなと思います。IDが一意という前提で、IDが重複するものは取得しない、という形で重複を避けてえいるのですが、これが使えなくなります。日付・秒などで、一意に管理するしかないかなと（受信した秒が同じだとアウトですが）思っています。　そのような方法くらいしかないでしょうか。

・あと疑問なのが、Gmail上で検索した条件と、GAS上で検索した条件とを、同じにした場合、結果は同じなのでしょうか。どうも違っているように見えるのですが。

・あと検索でスレッドを取得した時、同じスレッドではあるが検索条件には合わないメールは、選択されたスレッドの中には入ってこないのでしょうか（はじかれる）。しかしそうすると、付与される配列番号は、同スレッドの中で、はじかれたメールに付与されていたはずの番号が欠番となり、後ろのメールの配列番号が前に詰められるのでしょうか。

いろいろ記載してすみません、一つでも分かるとありがたいです。

実現したいこと

ここに実現したいことを箇条書きで書いてください。
・漏れがないようメールを受信し、重複がないよう管理したい
・スレッドとメッセージの関係（配列番号付与など）を理解し、プログラムを修正したい

以下、今回の質問の要点ではないのですが、参考までに記載しておきます。
function ContactMailTko()は、もともとのもの
function ContactMailTko2()は、どうも検索から漏れてしまうメールがあるので、個別に取得するようなものを作ってみました。これだと、欲しい、該当するものだけでなく、２回目以降のスレッドのものもなぜか、取得されていて出てきてしまいます。検索条件では、-FW, -Fwd, -（返信メール等で送信元となるメールアドレス）, などとしているので、本来、検索されてこないものが、同スレッドで取り込まれてきているようです。（ということは、検索条件に合致しないものも、同スレッドというだけで、取り込まれているのかな、と考えます）

ソースコード


function ContactMailTko() {
 
  //メールを検索
  const query = 'subject:"■東京：お問い合わせ" -RE -Fwd -FW　to:XXX.co.jp newer_than:15d';//
  const start = 0;
  const max = 5;
 
  //メール取得
  const threads = GmailApp.search(query, start, max);
  const messagesForThreads = GmailApp.getMessagesForThreads(threads);
 
 //Excel を参照
  const activeSpreadSheet = SpreadsheetApp.getActiveSpreadsheet(); // 現在のSpreadSheetを取得
  const sheet = activeSpreadSheet.getSheetByName('ALL'); // シート(SpreadSheetの下のタブ名を指定)

  　//Excel を参照し、以前に同じIDがあるか調べる
  　const hasId = id => {
    const data = sheet.getRange(1,4,sheet.getLastRow() ).getValues();
    return data.flat().includes(id);
    }

  //各メールの要素と、本文の中の必要要素を、取得して、IDが重複しないもののみ、記載していく


  for(const messages of messagesForThreads){
   // for(const message of messages){      

      // メールの要素である本文全体をPlainTextで取得
   //  let plainBody = message.getPlainBody();
     //console.log(plainBody);

      let plainBody = messages[0].getPlainBody();

      //各メールの本文の中の必要要素を取得していく

        // 会社名
        let company = plainBody.match(/■ 貴社名・団体名：(.*)/);
        if (company == null) company = ''
        else　company = company[1];
        // 担当者
        let person = plainBody.match(/■ ご担当者名：(.*)/);
        if (person == null) person = ''
        else　person = person[1];

        // tel
        let tel = plainBody.match(/■ 電話番号\(半角\)：(.*)/);
        if (tel == null) tel = ''
        else　tel =  "'" + tel[1];
        
        // fax
        let fax = plainBody.match(/■ FAX：(.*)/);
        if (fax == null) fax = ''
        else　fax = "'" + fax[1];
        
        // mailaddress
        let mailaddress = plainBody.match(/■ メールアドレス：(.*)/);
        if (mailaddress == null) mailaddress = ''
        else　mailaddress = mailaddress[1];
        
        // officeaddress
        let officeaddress = plainBody.match(/■ 住所：(.*)/);
              
        if (officeaddress == null) officeaddress = ''
        else　officeaddress = officeaddress[1];
        
        // sodannaiyo
        let sodannaiyo = plainBody.match(/■ ご要望・ご質問：[\s\S]*■ 貴社名・団体名：/m);
        if (sodannaiyo == null) sodannaiyo = ''
        else　sodannaiyo = sodannaiyo[0].replace('■ ご要望・ご質問：','').replace('\r\n■ 貴社名・団体名：','');

        // contactmethod
        let contactmethod = plainBody.match(/【 ご希望の連絡方法 】 (.*)/);
        if (contactmethod == null) contactmethod = ''
        else　contactmethod = contactmethod[1];
        // inquirypurpose
        let inquirypurpose = plainBody.match(/■お問い合わせ内容(.*)/);
        if (inquirypurpose == null) inquirypurpose = ''
        else　inquirypurpose = inquirypurpose[1];
        // zip
        let zip = plainBody.match(/■ 郵便番号：(.*)/);
        if (zip == null) zip = ''
        else　zip =  "'" + zip[1];

      // inquirypurpose
        let kojinjyoho = plainBody.match(/■ 個人情報の取り扱い：(.*)/);
        if (kojinjyoho == null) kojinjyoho = ''
        else　kojinjyoho = inquirypurpose[0];

     // const id = message.getId();
     const id = messages[0].getId();
      if(hasId(id)) continue; //IDが重複しないもののみ記載していく
 
     //Excel への入力
  // sheet.appendRow([message.getSubject(),message.getDate(),message.getBody(),message.getId(),company,person,tel,fax,mailaddress,officeaddress,sodannaiyo,contactmethod,inquirypurpose,,,,zip,kojinjyoho])

   sheet.appendRow([messages[0].getSubject(),messages[0].getDate(),messages[0].getBody(),messages[0].getId(),company,person,tel,fax,mailaddress,officeaddress,sodannaiyo,contactmethod,inquirypurpose,,,,zip,kojinjyoho])

  //}
  }
}



function ContactMailTko2() {
 
  //メールを検索
  const query = 'subject:"■東京：お問い合わせ" -RE -Fwd -FW　to:XX.co.jp newer_than:5d';//
  const start = 0;
  const max = 5;
 
  //メール取得
  const threads = GmailApp.search(query, start, max);
  const messagesForThreads = GmailApp.getMessagesForThreads(threads);
 
 //Excel を参照
  const activeSpreadSheet = SpreadsheetApp.getActiveSpreadsheet(); // 現在のSpreadSheetを取得
  const sheet = activeSpreadSheet.getSheetByName('Tko'); // シート(SpreadSheetの下のタブ名を指定)

  　//Excel を参照し、以前に同じIDがあるか調べる
  　const hasId = id => {
    const data = sheet.getRange(1,4,sheet.getLastRow() ).getValues();
    return data.flat().includes(id);
    }

  //各メールの要素と、本文の中の必要要素を、取得して、IDが重複しないもののみ、記載していく


  for(const messages of messagesForThreads){
    for(const message of messages){      

      // メールの要素である本文全体をPlainTextで取得
      let plainBody = message.getPlainBody();
     //console.log(plainBody);

     // let plainBody = messages[0].getPlainBody();

      //各メールの本文の中の必要要素を取得していく

        // 会社名
        let company = plainBody.match(/■ 貴社名・団体名：(.*)/);
        if (company == null) company = ''
        else　company = company[1];
        // 担当者
        let person = plainBody.match(/■ ご担当者名：(.*)/);
        if (person == null) person = ''
        else　person = person[1];

        // tel
        let tel = plainBody.match(/■ 電話番号\(半角\)：(.*)/);
        if (tel == null) tel = ''
        else　tel =  "'" + tel[1];
        
        // fax
        let fax = plainBody.match(/■ FAX：(.*)/);
        if (fax == null) fax = ''
        else　fax = "'" + fax[1];
        
        // mailaddress
        let mailaddress = plainBody.match(/■ メールアドレス：(.*)/);
        if (mailaddress == null) mailaddress = ''
        else　mailaddress = mailaddress[1];
        
        // officeaddress
        let officeaddress = plainBody.match(/■ 住所：(.*)/);
              
        if (officeaddress == null) officeaddress = ''
        else　officeaddress = officeaddress[1];
        
        // sodannaiyo
        let sodannaiyo = plainBody.match(/■ ご要望・ご質問：[\s\S]*■ 貴社名・団体名：/m);
        if (sodannaiyo == null) sodannaiyo = ''
        else　sodannaiyo = sodannaiyo[0].replace('■ ご要望・ご質問：','').replace('\r\n■ 貴社名・団体名：','');

        // contactmethod
        let contactmethod = plainBody.match(/【 ご希望の連絡方法 】 (.*)/);
        if (contactmethod == null) contactmethod = ''
        else　contactmethod = contactmethod[1];
        // inquirypurpose
        let inquirypurpose = plainBody.match(/■お問い合わせ内容(.*)/);
        if (inquirypurpose == null) inquirypurpose = ''
        else　inquirypurpose = inquirypurpose[1];
        // zip
        let zip = plainBody.match(/■ 郵便番号：(.*)/);
        if (zip == null) zip = ''
        else　zip =  "'" + zip[1];

      // inquirypurpose
        let kojinjyoho = plainBody.match(/■ 個人情報の取り扱い：(.*)/);
        if (kojinjyoho == null) kojinjyoho = ''
        else　kojinjyoho = inquirypurpose[0];

      const id = message.getId();
     //const id = messages[0].getId();
      if(hasId(id)) continue; //IDが重複しないもののみ記載していく
 
     //Excel への入力
   sheet.appendRow([message.getSubject(),message.getDate(),message.getBody(),message.getId(),company,person,tel,fax,mailaddress,officeaddress,sodannaiyo,contactmethod,inquirypurpose,,,,zip,kojinjyoho])

  // sheet.appendRow([messages[0].getSubject(),messages[0].getDate(),messages[0].getBody(),messages[0].getId(),company,person,tel,fax,mailaddress,officeaddress,sodannaiyo,contactmethod,inquirypurpose,,,,zip,kojinjyoho])

  }
  }
}
### 試したこと

console.log()
や内容を変えて、いろいろ試し中。

Answer 1

直接にGmailに送られているメールではなく、POPのメールを受信できる設定にして、Gmailで受信しているので、また、フォームのデータ自体は相互に大変似ているので、そのようなことが起こってしまっているのでしょうか？　

スレッド化される条件については、返信メール以外にも下記のようなものがあります。

• 受信者、送信者、件名が以前のメールと同じである
• 参照ヘッダーの ID が以前のメールと同じである
• 以前のメールから 1 週間以内に送信されている
  出典

てっきりグローバルに一意のものかと思っていたのですが、

ご認識の通り、受信アカウントごとにIDは異なります。

あと疑問なのが、Gmail上で検索した条件と、GAS上で検索した条件とを、同じにした場合、結果は同じなのでしょうか。どうも違っているように見えるのですが。

検索条件が同じであれば、同じです。

あと検索でスレッドを取得した時、同じスレッドではあるが検索条件には合わないメールは、選択されたスレッドの中には入ってこないのでしょうか（はじかれる）。しかしそうすると、付与される配列番号は、同スレッドの中で、はじかれたメールに付与されていたはずの番号が欠番となり、後ろのメールの配列番号が前に詰められるのでしょうか。

スレッドが取得されるだけなので、スレッドに入ってこないというのはありません。
（スレッドを取得したあとに、別のAPIでメッセージを取得しているので、メッセージを取得する際には検索条件は全く加味しません。）

Comments

[takFF]

いろいろと分かりました、ありがとうございます。
＞＞
＞スレッドが取得されるだけなので、スレッドに入ってこないというのはありません。
（スレッドを取得したあとに、別のAPIでメッセージを取得しているので、メッセージを取得する際には検索条件は全く加味しません。）

　上記の点ですが、検索において、to:[e-mail] [e-mail] という条件を設定しています。to:[e-mail] あての、メールで、かつ、[e-mail]　のアドレスを含まないということですが、[e-mail]は、必ずメールに対して返信する際に送る送信元のメールです。ですのでスレッドの２つ目は、gmailでの検索上は出てこないのですが、そのスレッドを取得すれば、そこには入ってきておりきちんと取得されるわけですね。
そうすると、それをはじくためには、どうするのでしょうか。（自分でも調べてみますが）
というのは、スレッドの同一性認識において、初回のフォーム送信が、配列の[0]にきちんとなってくれない状況であるので、取得したスレッドの中からさらに、選択を行わなければならないからですが。

[macaron_xxx]

＞そうすると、それをはじくためには、どうするのでしょうか。（自分でも調べてみますが）
基本的にはgetMessages()した後に、各MessageにてgetTo()などして弾いていくしかないかなと思います。

[takFF]

getTo()　を使うのですね、ありがとうございます！