Open CV for Unity 顔検出の安定化について

前提・実現したいこと

Unity初学者です。
UnityとOpenCV for Unity を用いて、顔を検出し、顔の位置によってオブジェクトを移動させたいです。
OpenCV for Unity にて、サンプルプログラムのFaceDetectionWebCamTexture にて顔を長方形で囲い、その中心座標で物体の座標を制御しようとしています。
しかし、顔検出の長方形の大きさが検出の度に大きさを変える（おそらく検出器の使用だと思いますが）ため、顔を動かしていなくても物体が微動する状況です。
そこで、数フレーム毎の顔の中心座標によって制御させたいと考えています。
そこで、例えば1~~5フレームそれぞれの顔の中心座標を保存し、平均して値を保存する→2~~6の顔の中心座標を保存して平均化→etc...のようにフレーム別で値を保存し、その後次の値を保存する方法を教えていただければ幸いです。

発生している問題・エラーメッセージ

顔を表示する四角形の大きさが検出の度に変わるため、顔を動かしていなくても中心座標が変わってしまう。

該当のソースコード

C#
1void Update ()
2        {
3            if (webCamTextureToMatHelper.IsPlaying () && webCamTextureToMatHelper.DidUpdateThisFrame ()) {
4                
5                Mat rgbaMat = webCamTextureToMatHelper.GetMat ();
6
7                Imgproc.cvtColor (rgbaMat, grayMat, Imgproc.COLOR_RGBA2GRAY);
8                Imgproc.equalizeHist (grayMat, grayMat);
9                
10                
11                if (cascade != null)
12                    cascade.detectMultiScale (grayMat, faces, 1.1, 2, 2, // TODO: objdetect.CV_HAAR_SCALE_IMAGE
13                        new Size (grayMat.cols () * 0.2, grayMat.rows () * 0.2), new Size ());
14                
15                
16                OpenCVForUnity.CoreModule.Rect[] rects = faces.toArray ();
17                for (int i = 0; i < rects.Length; i++) {
18                    //              Debug.Log ("detect faces " + rects [i]);
19                    
20                    Imgproc.rectangle (rgbaMat, new Point (rects [i].x, rects [i].y), new Point (rects [i].x + rects [i].width, rects [i].y + rects [i].height), new Scalar (255, 0, 0, 255), 2);
21                    var facex = rects[i].x + rects[i].width / 2; //顔の中心x座標
22                    var facey = rects[i].y + rects[i].height / 2; //顔の中心y座標
23
24                    Debug.Log("x座標は"+facex);
25                    Debug.Log("y座標は"+facey);
26
27                }
28
29                //                Imgproc.putText (rgbaMat, "W:" + rgbaMat.width () + " H:" + rgbaMat.height () + " SO:" + Screen.orientation, new Point (5, rgbaMat.rows () - 10), Imgproc.FONT_HERSHEY_SIMPLEX, 1.0, new Scalar (255, 255, 255, 255), 2, Imgproc.LINE_AA, false);
30
31                Utils.fastMatToTexture2D (rgbaMat, texture);
32            }
33        }