VRでZ軸方向の情報を元にY軸方向に移動させる

Question

前提・実現したいこと

カメラが前進（Z軸方向に移動）すると赤玉が白いバー上を上昇（Y方向に移動）するように制作しています。
上下左右のどこを向いてもカメラの速度に応じたスピードで上昇するように制作したいと考えています。

発生している問題・エラーメッセージ

スマホ上でVRとして動かしたときに白いバー上を移動せず、画像のようにバー上を移動しません。
また、上を向いたとき、赤玉は下降し、下を向いたときは上昇してしまいます。

該当のソースコード

以下のソースコードで作成しました。

public class FollowTarget : MonoBehaviour{
public Transform target;
public float offset;

void LateUpdate(){
    Vector3 pos = transform.position;
    pos.y = (target.position.z/40) + offset;
    transform.position = pos;
    }
    }

試したこと

カメラと赤玉の間に別のオブジェクトを入れましたが、結果は同じでした。