bindのソースポートランダマイゼーションの設定について

Question

よろしくお願いします。

bindの設定で「query-source address * port 53」とポートを固定したDNSサーバに問い合わせをした際、たまに名前解決できずエラーになります（どちらかといえば名前解決できることの方が多い）。
設定を「query-source address * port *」とすると名前解決できるようになるのですがこれは何故なのでしょうか？

ソースポートをランダムにすることでキャッシュポイズニングの危険性を低下させることは理解しているつもりですが、ソースポートをランダムにしないと名前解決に不具合が発生するというのは理解できません。

※上記のDNSサーバはファイアウォールの内側にあるローカルネットワーク上のDNSサーバでローカルネットワーク上のクライアントからしか問い合わせを受け付けないキャッシュサーバです。