メール受信と同時にヘッダーや本文の文字列を分析し項目ごとにデータベースに出力したい。

Question

メール受信と同時にヘッダーや本文の文字列を分析し項目ごとにデータベースに出力したい。

メール受信と同時にヘッダーや本文の文字列を分析し項目ごとにデータベースに出力することは可能ですか。

想像の範囲内で構いませんので必要技術と、

もしくは既にそのようなソフトがあれば教えていただけますか。

これを作るにあたって先述した通り必要技術と、知識、
何かしらのキーワードだけでもわかれば教えていただけますか。

Comments

[dodox86]

タグが"メール"から"SMTP"に変わりましたが、受信したEメールの解析に関する質問なので、むしろ"SMTP"は”メール”より関係度が低くなります。送信側と受信側のメーラー相当のお話です。

Answer 1

sendmailやPostfix等のSMTPサーバーであれば、/etc/aliasesまたはメールを着信するユーザーの~/.forwardに記述することで、
「メールがSMTPサーバーに着信したらプログラムを起動して、そのプログラムの標準入力にメールの中身を渡す」
ということが可能ですので、「メールヘッダ・ボディを標準入力から読んで、解析して処理する」というプログラムを書けばいいです。

ヘッダ解析やエンコーディング変換は自分で正規表現を使ってやってもいいし、適当なライブラリを探してもいいし。

Answer 2

遠い昔にメールサーバをXmailで立て、Xmailのコマンド実行機能により
メールの到着をトリガーとして、メール内の本文解析を行い、
データ抽出を行う仕組みを作ったことがあります。
Xmailの場合、受信メールを通常のテキストファイルとして保存出来ますので、
上記コマンド実行機能で受信メールのファイルパスをパラメータとして、
メール本文解析プログラムを実行することにより実現しました。
Xmailのコマンド実行機能解説ページに仕組みの説明があります。

別にXmailでなくとも、受信メールを解析可能なファイル形式で保存可能で、
メールを受信したタイミングでプログラムを実行出来るメールサーバがあれば
実現可能です。

後は、メール本文のキーワードから取得したいデータを取得し、データベースに格納するだけなので、
割愛します。

Answer 3

Eメールの解析はまじめに取り組むとかなり大変です。インターネットEメール自体歴史が古いので、様々なフォーマットとそれらを扱う送信元の利用者のメーラーがあります。

Eメールは件名と内容部分でフォーマットが異なり、PlainText, ISO-2022-JP(≒JISコード), Quoted Printableなどに加えて文字コードの違いもあります。最近はhtmlやmime(マイム）のマルチパート構成で添付ファイルを付けたりするので、mimeの知識も必要です。メールのヘッダー部分についてはMTA(Mail Transfer Agent)を経由するごとに追加されてきたりするので、これまた百花繚乱です。

これらの仕様については、Eメールに関するISOのRFC(Request For Comments)に記載されています。仕様というか「皆でこうしましょう」という「提言」なので、メーラーがそれに準じていることが前提になります。準じていないソフトはいずれ淘汰されるので、受信したEメールがもし推奨されないフォーマットになっていたら、個別対応で良いと思います。（これは例えば、古い、古ーい問題のあるメーラーから送られるEメールで起こり得ます）

メール配信サービスで有名なSendGridさんの記事です。
メール関連のRFC - SendGridブログ
※Eメールとそれに関連するRFCはもっともっとたくさんあります。

あまり細かいことを言わずに解析したいのであれば、Eメールに関するライブラリが充実しているプログラミング言語を選び、そのAPIで取り扱うことで大抵のことはできると思います。目的のテキストに対する処理が主要となるので、やりたいことを達成できるご自身のプログラミング技術が必要でしょう。データベースの扱いはテーブル設計など別の話になります。

あまりEメールの生のデータを扱いたくないのであれば、例えばGmailなどに一貫して受信させてしまい、そちらから取り出すことでフォーマットの統一は図れると思います。

Answer 4

小規模であればIFTTTTといったサービスを利用するのがおすすめです。もしくはほかにSaaSとしてメールの受信を扱っているサービスやOSSで手軽のものがあるかもしれません（すみません、ここは知識不足です）。

もし本格的にメールを扱うとなるとSMTP（Simple Mail Transfer Protocol）やメール配信の仕組みを理解した上でsendmailなどの古のソフトウェアと付き合うことになります。想像以上に闇が広がっていておすすめはしませんが、一度自分でメールサーバを立てて運用してみる、ということを経験してみるのも面白いかもしれません。