ドメイン名によるサーバインスタンス手前でのアクセス制御

Google Cloud PlatformのGCEインスタンスで環境構築していたのですが、nslookupで調べると自分が取得したグローバルIPアドレスにたまたま中東？あたりのよくわからないドメインが紐づいていました。（こちら側はgoogleのCloud DNSではなく他サイトで取得IPに対してDNS設定しています。）
アクセスログがStackdriver Loggingで取得できていたため調査してみたのですが、リファラーを見ると違法？に見えるサイトからのアクセスが多く、おそらく以前割り当てられていた違法？サイトへのリンクが生きてしまっているのだと推測できます。
現状無駄なアクセスログと負荷がある状態なため、なんとかその手前で制限を掛けたいです。
※サーバサイドでは403でアクセス制限を掛けることが出来るのですが・・・これではインスタンスまで到達しています・・・

とはいえ、自ドメインに対して勝手なIPを割り当てること自体は技術的に可能でしょうし、特に違法性もないとは思います。
他のサーバ運用者の方々はこういったケースではどのような対処をするのが一般的なのか、ご教授いただければ幸いです。