TextViewのカーソル変更時のスクロールの挙動がおかしい

Question

TextViewで編集している時に起きる挙動についてです。
現在のカーソル位置から画面外(スクロールしないと見えない行)の場所にカーソルを移動させた際に、カーソル位置は変更されるのですがスクロールが何故かその下のカーソル位置に戻されてしまいます。
このスクロールが戻されてしまうのは何が原因なのでしょうか。

参考までにGIFを載せておきます
カーソルを上の方に移動するとスクロールが元のカーソルの位置に移動しているのがわかると思います。

ユーザーのスワイプではなく、アプリ側の方で勝手にスクロールしてしまうのを禁止する方法があればご教示ください。