サーバ移行時のDNSまわりについて

現在、レンタルサーバ（以下、A）から別のレンタルサーバ（以下、B）へのサーバ移行作業をしています。

サーバ上のデータの移行はすでに完了しており、自身のPCのhostsファイルを変更して、Bで正常に表示されることを確認する段階まで終了しました。

最後に、ユーザがexample.com（例）にアクセスしたときに、B上のサイトが表示されるようにしたいのですが、その際の、DNSまわりの設定がいまいち理解できていないため、ご質問させていただければと思います！

各サイトを調べ歩いたところ、example.comのネームサーバを変えるだけで、B上のサイトが表示されるということが書かれていました。

しかし、その場合、Aレコードに記述されているIPアドレスはどのようにしたらよいのでしょうか？
AレコードのIPアドレスは、Aを指しているため、そのままだとネームサーバを変えてもB上のサイトは表示されないのではないでしょうか？

私は、AレコードのIPアドレスがサーバを指しているものだと思っていました。しかし、参考サイトには、ネームサーバを変えるだけでOKとあったため、不安が残っています。そもそも、ネームサーバは、DNSの名前解決を行うだけで、参考サイトにあるように、「対象のドメインをどのサーバーで使用するか決定するためのアドレス」とは違うと思っていたのですが、この考えも誤りだったのでしょうか？

この分野に関する知識が乏しいため、表現等に不適切な部分があるかと思いますが、ご了承ください。
何卒よろしくお願いいたします！