独自ドメインでのウェブメール送信が数回に一度、配信未完了となってしまう

独自ドメインについて、herokuでアプリを展開し、xserverのウェブメールだけを活用したいと考えております。
現状の関連情報は下記となります。

heroku  PointDNS

ムームードメイン  ネームサーバ

この時、abc@yahoo.co.jpから送られたinfo.example.com宛のメール受信は問題ないのですが、info.example.comからabc@yahoo.co.jp宛に発信するメールで、数回に一度、下記エラーが発生してしまいます。

--下記転載--

配信未完了
abc@yahoo.co.jp へのメールの配信中に一時的な問題が発生しました。Gmail は 46 時間再試行し、配信できなかった場合はお知らせします。
応答：
The recipient server did not accept our requests to connect. Learn more at https://support.google.com/mail/answer/7720

Final-Recipient: rfc822; abc@yahoo.co.jp
Action: delayed
Status: 4.4.1
Diagnostic-Code: smtp; The recipient server did not accept our requests to connect. Learn more at https://support.google.com/mail/answer/7720
 [example.com 111.111.222.111: generic::failed_precondition: connect error (0): error]
 [example.com 111.111.222.112: generic::failed_precondition: connect error (0): error]
 [example.com 111.111.222.113: generic::failed_precondition: connect error (0): error]
 [example.com 111.111.222.114: generic::failed_precondition: connect error (0): error]
 [example.com 111.111.222.115: generic::failed_precondition: connect error (0): error]
 [example.com 111.111.222.116: generic::failed_precondition: connect error (0): error]
 [example.com 111.111.222.117: generic::failed_precondition: connect error (0): error]
 [example.com 111.111.222.118: generic::failed_precondition: connect error (0): error]
Last-Attempt-Date: Fri, 19 Jan 2018 23:59:34 -0800 (PST)
Will-Retry-Until: Sun, 21 Jan 2018 22:10:49 -0800 (PST)

--転載おわり--

なお、メールサーバとしてはxserver、メール送受信の窓口としてはGmailを活用しており、下記情報を登録しております。
・SMTPサーバー：myserverid.xserver.jp
・通信は２パターンでテスト（SSLではポート：587、TLSではポート：465）

送受信エラーがたまに生じるものの、送受信それ自体は８割方かなっています。example.com関連のサイト表示については、example.comでも、www.example.comでも、example.herokuapp.comでも問題なく動いております。気になっているのは、エラー時に表示される111.111.222.111〜111.111.222.118にアクセスすると、xserverではなく、herokuのエラー画面が表示されることです。もし解決策にお気づきの方がいらっしゃれば、ご教示いただけますと幸いです。（現状はどこを直せば良いかも目星がついておりません）よろしくお願いいたします。