Androidアプリのロールバック方法について

Question

前提

Androidアプリをリリース予定
リリース版に不具合があったら最速で前のバージョンに戻したい

実現したいこと

リリース用のビルドとリリース版に不具合が合った場合のロールバック用のビルドを用意しています。
審査なしには前のバージョンに戻すことができないようなので、リリース版をリリースした後にすぐにロールバック用のビルドを審査に提出することを考えています。
リリース版に問題があれば、ロールバック版をリリースしますが、問題がなければロールバック版は審査に通ってもリリースしません。
この審査に通ってもリリースしない方法が発見できません。ご存知の方がいらっしゃいましたら知恵を拝借できればと存じます。