PHPMailerで、SMTPサーバーを経由した場合のメール送信が遅い

Question

簡易的なSNSシステムの開発にあたり、メッセージを受した時・フォローされた時などに、ユーザーへ通知メールを送信する処理を組み込むこととなりました。

迷惑メールとして扱われる可能性を減らすため、SMTPサーバー経由でメール送信できる「PHPMailer」というライブラリを導入しました。

メールアカウントはGmailのものを使用し、送信は問題無く行えていますが、送信処理自体に時間がかかっている点で困っています。

以下、実際のコードとなります。

//ライブラリ読み込み
require_once('PHPMailerAutoload.php');

//メール設定
$mail = new PHPMailer();
$mail->isSMTP();
$mail->Host = 'smtp.gmail.com';
$mail->SMTPAuth = true;
$mail->Username = '[e-mail]';
$mail->Password = 'xxxxxxxx';
$mail->SMTPSecure = 'tls';
$mail->Port = '587';
$mail->CharSet = "UTF-8";
$mail->setFrom('[e-mail]','差出人');
$mail->Subject = 'テストメール件名';
$mail->Body = 'テストメール本文';
$mail->addAddress('[e-mail]');

//送信直前の時間を計測
$arrTime = explode('.',microtime(true));
echo date('Y-m-d H:i:s', $arrTime[0]) . '.' .$arrTime[1];

//メール送信
$mail->Send();

//送信直後の時間を計測
$arrTime = explode('.',microtime(true));
echo '<br>'.date('Y-m-d H:i:s', $arrTime[0]) . '.' .$arrTime[1];

実行結果

2017-06-02 19:55:29.68
2017-06-02 19:55:32.16

送信処理を行う「$mail->Send();」の前後でミリ秒までを出力してみた所、実行結果を見て頂くと分かる通り、平均で2～3秒もかかってしまいました。

SMTP認証を行わないと0.05秒程度で処理が完了するので、外部SMTPサーバー経由で送信している事が原因かと考えています。

SNSシステムと同じサーバーに、自前でSMTPサーバーを構築すれば良いのかと考えたのですが、構築の経験が無く、どのサイトを参考にすれば良いか判断が付きません。

SMTP認証は必須ではありませんので、迷惑メールとして扱われる可能性が低く、また短時間（可能であれば1秒以下）で送信を行える方法はありませんでしょうか？

Answer 1

SMTP認証を行わない方法はmail()とかmb_send_mail()とか？
これらは内部的にはサーバーでコマンドを実行しているだけで
受け入れられたかどうかを判断した時点で結果が帰ってきているので早く終わったように思える
…と思っていましたが違うでしょうか（詳しい方の補足を望みます）
完了したと判断した時点でも実はまだサーバーにキューが溜まっていて配送中だったり。

Answer 2

メールの送受信数に関する制限 - Gmail ヘルプ

Gmail経由でメール送信するのはおすすめできません。
1日に500通を越えるメール送信を行うと送信制限され、
解除されるのに1～24時間かかるそうです。
とてもサービスの通知メール送信用には使えません。

レンタルサーバーなら業者提供のマニュアル・説明書などに
参考事例が書いて有りそうなものですが、チェックしていますか？