Rotateは、現在のtransformの回転状態に対してさらに回転を加えるような動作をしますので、例えば下記のような状況になってしまうでしょう。

• 画面上端中央でマウスボタンを押し下げる。
• そのまま真下にドラッグし、画面中央でポインタを止める。ボタンは押しっぱなしにしておく。
• このとき、mouseDeltaPositionYは-0.5を示し、xAngleは-45.0を示す。
  つまり、毎フレームthis.transform.Rotate(-45, 0, 0, Space.World);が実行される。
  マウスポインタを画面中央から動かさなくてもxAngleは-45.0を示し続けるので、オブジェクトは-45°/フレームの速度で回り続ける。

対処方法の一例として、マウスボタンを押し下げたときに、初期マウス座標に加えてオブジェクトの初期回転を覚えておくというのはどうでしょうか。そして、オブジェクトにセットする新しい回転は「初期回転に対して(xAngle, yAngle, zAngle)回転したもの」としてみます。

    Vector2 beganPos;
    Quaternion beganRot; // オブジェクトの初期姿勢を覚えておくフィールドを追加
    float mouseDeltaPositionX, mouseDeltaPositionY;
    float xAngle, yAngle, zAngle = 0;

    void Update()
    {
        if (Input.GetMouseButtonDown(0))
        {
            beganPos = Input.mousePosition;
            beganRot = this.transform.rotation; // ボタン押し下げ時の回転を初期姿勢として保存しておく
        }
        else if (Input.GetMouseButton(0))
        {
            mouseDeltaPositionX = (Input.mousePosition.x - beganPos.x) / Screen.width;
            mouseDeltaPositionY = (Input.mousePosition.y - beganPos.y) / Screen.height;

            float xAngle = mouseDeltaPositionY * 90;
            float yAngle = -mouseDeltaPositionX * 90;

            //回転
            // Rotateだと基準姿勢が現在の姿勢となってしまう...そこで回転方法を変える
            // 基準となる姿勢は初期姿勢として、そこからさらに(xAngle, yAngle, zAngle)回転し現在姿勢とする
            this.transform.rotation = Quaternion.Euler(xAngle, yAngle, zAngle) * beganRot;
        }
    }

追記

タッチ用コードではdeltaPositionを使っているのがポイントですね。
上で申しあげたように、Rotateは現在の姿勢を基準に回転を追加する動作となります。deltaPositionは「前フレームの指の位置からの差分」（「タッチを開始した位置からの差分」ではない点にご注意ください）を示しており、これをもとに求めた角度を使ってRotateで回しているのでうまくいっていると考えられます。
最初に挙げた例と同様に考えると...

• 画面上端中央にタッチする。
• そのまま真下にすばやくスワイプし（1フレームで一気に動かしたものとご想像ください）、画面中央で指を止める。
  deltaPositionには指の移動量が入っている。画面高さの半分の距離を移動したので、求めたmouseDeltaPositionYは-0.5、xAngleは-45.0となる。
  this.transform.Rotate(-45, 0, 0, Space.World);が実行され、45°回転する。
• このまま画面中央から指を動かさなかった場合、次のフレームのdeltaPositionは移動なしのためゼロベクトルを示す。
  求められる回転角も0°なので、そのまま指を動かさず触れ続けていても、先の例のように回転し続けてしまうことはない。

マウス版コードの書き換え案ですが、こちらもタッチ版と同じように、角度算出の基となるポインタ座標差分を「ドラッグ開始時の位置からの差分」ではなく「前フレームの位置からの差分」に変更すればRotateを使用できるはずです。
下記のような形ではいかがでしょうか?

    Vector2 prevPos; // 覚えておく座標を「マウスボタン押し下げ時の座標」から「前回の座標」に変更...フィールド名を使用目的に沿った名前に変えた
    float mouseDeltaPositionX, mouseDeltaPositionY;
    float xAngle, yAngle, zAngle = 0;

    void Update()
    {
        if (Input.GetMouseButtonDown(0))
        {
            // フィールド名が「prevPos」に変わっただけで、ボタン押し下げ時に最初の座標を覚えておくのは変わらない
            prevPos = Input.mousePosition;
        }
        else if (Input.GetMouseButton(0))
        {
            // ここも同じく名前が「prevPos」に変わっただけだが、意味合いとしては「前フレームとのポインタ位置差分を求める」となる
            mouseDeltaPositionX = (Input.mousePosition.x - prevPos.x) / Screen.width;
            mouseDeltaPositionY = (Input.mousePosition.y - prevPos.y) / Screen.height;

            // ポインタ位置差分を求めた後で、現在のポインタ位置をprevPosに代入し、次回のUpdate実行に備える
            // この「現在のポインタ位置」が、次フレームでは「前フレームのポインタ位置」となる
            prevPos = Input.mousePosition;

            // 以降の処理は変更なし

            float xAngle = mouseDeltaPositionY * 90;
            float yAngle = -mouseDeltaPositionX * 90;

            //回転
            this.transform.Rotate(xAngle, yAngle, zAngle, Space.World);
        }
    }