外部からのメールが全てRelay access deniedになる

お世話になります。

サーバに設定したドメイン宛に外部(Gmail、Yahoo、Outlookから試しました)からメールを送信するとRelay access deniedとなってしまいます。
サーバ内部からサーバ内部宛、サーバー内部から外部宛のメールは送受信可能なことを確認しています。

環境は下記状態です。
OS：CentOS 6.6
SMTP：Postfix
POP3：Dovecot

下記がyahooからメールを送信した際のmaillogに出力されたエラー部分です。
NOQUEUE: reject: RCPT from XXX.yahoo.co.jp[XX.XX.XX.XX]: 554 5.7.1 XXX@example.net: Relay access denied; from=XXX@yahoo.co.jp to=XXX@example.net proto=ESMTP helo=<XXX.yahoo.co.jp>
disconnect from XXX.yahoo.co.jp[XX.XX.XX.XX]

ドメインなどの設定は下記の様になっています。
myhostname = mail.example.net
mydomain = example.net
myorigin = $mydomain
inet_interfaces = all
mydestination = $myhostname, localhost.$mydomain, localhost, $mydomain

このエラーで検索をかけると、mydestination部分が設定されていないことが原因であることが多いようですが、自分の場合は設定しているので他が原因な気がするのですが、どこがいけないのかが分かりません。

SASL認証の設定は下記状態です。
smtpd_sasl_auth_enable = yes
smtpd_sasl_security_options = noanonymous
smtpd_sasl_local_domain = $mydomain
smtpd_sasl_type = dovecot
smtpd_sasl_path = private/auth
smtpd_recipient_restrictions = permit_mynetworks, permit_sasl_authenticated, reject_unauth_destination
smtpd_client_restrictions = permit_mynetworks, check_client_access hash:/etc/postfix/reject_client, permit
smtpd_sender_restrictions = permit_mynetworks, check_sender_access hash:/etc/postfix/reject_sender

お分かりになる方がいらっしゃいましたらご教示ください。
よろしくお願いします。