回答編集履歴

  タップ開始点と終了点をそれぞれ[ScreenToWorldPoint](https://docs.unity3d.com/ScriptReference/Camera.ScreenToWorldPoint.html)でワールド座標にして、両者の差を取ってワールド座標系でのスワイプベクトルとし、それをさらにパネルのtransformの[InverseTransformVector](https://docs.unity3d.com/ScriptReference/Transform.InverseTransformVector.html)に渡してパネルローカル座標系でのスワイプベクトルを求める、というのはどうでしょう?

 

  あとはその変換したスワイプベクトルのxの絶対値とyの絶対値を比較すれば（パネルがローカル座標においてZ軸+に面しており、パネル上縁がY軸+を向いている場合です）、パネルに対して左右にスワイプしたか上下にスワイプしたか判定できるのではないでしょうか。