頭の動きに追従して動くカメラ

前提・実現したいこと

こんばんは。私は、C言語を100時間位勉強した位のプログラミング初心者なのですが、
アームロボットを作成して、そこに機能を開発して実装することを最終的な目標としていて、その機能に、ヘッドマウントディスプレイを利用して、顔の向いている方向を認識し、頭の動きに追従して平面方向に回転する機能を付けたいと考えています。

(このドローンのカメラのz軸方向移動が無くなったものがイメージに近いです、また、カメラではなくロボット自体が回転するようにしたいです。)
https://www.borg.media/flibi/

この機能を実現するために学習を進めたいと考えていますが、どの言語を学べばいいか、どの本を選べばいいかが絞り込めず困っています。(調べればポジショントラッキングの事は出てきますが、調べ方が悪いのか求める情報が出てきません……)

そこで、
・この機能を実現するために、大まかにどのような言語、技術を修得する必要があるか
・役に立ちそうな公開されているコード
・開発、学習の役に立ちそうな書籍、サイト
・開発難易度についての感想
(開発期間は半年ほどを考えていますが、難しいようでしたら伸ばして、より長期間かけて実装したいと思います。)

などを教えていただけないでしょうか。

できれば、Androidスマホを利用した物を作りたいですが、他のディスプレイの方が使いやすいようであれば購入も検討しています。
ロボット自体はPCに有線接続する予定です。

プログラミングから若干外れている気もしますが、迷っているよりはと思い質問させていただきました。

どうか、よろしくお願いいたします。