Hololens2でvuforiaのARマーカーを利用したい

Hololens2でARマーカーを活用したいと思い ARマーカ使います？HoloLens 2でVuforiaのマーカを使うための最小環境構築を手本にやっているのですが望んだ結果を得られずにいます。

開発環境

unity 2019.4.12f1
add-vuforia-package-9-8-11
Microsoft.MixedReality.Toolkit.Unity.Foundation.2.5.1

現状

unity内のテストではパソコンのカメラを使いARマーカーを認識してくれるのですが、Hololens2でデバッグするとARマーカーを映しても認識してくれません。
MRTKとvuforiaの導入に関してはunity内のカスタムインポートを使って導入しています、MRTKの設定に関してはXRSDKを使う方法、legacyな方法どちらも試したのですがダメでした。
公式のサンプルがあるのをつい先ほど知ったんですが年始までHololens2での実機テストをすることができないので試すことが出来ずにいます。

聞きたいこと

自分で考えた結果、可能性としては

プログラムは間違いなくで出来ているが実機テスト中にARマーカーを正しく認識できていない
vuforiaのマーカー認識するカメラをHololens2の外側のカメラに正しく割り付けできていない
自分の凡ミスで何か必要な要素が抜けている

のどれかかなと思っているのですが、わからずにいます。Hololens2とvuforiaを組み合わせるのが初めてでつまずきやすい点や思い当たる原因があれば聞きたいです。あともう一つunity内でのテスト中ARマーカーを認識している間MRTKのポインターが荒ぶるのですがそれは仕様なのでしょうか？それとも何か荒ぶらないようにする設定があるのでしょうか？

情報量が少なくすみません、以下に実際に自分が触った部分の画像を載せておきます。