HoloLens2,QRコードを読み込んだ時に、仮想ボタンを表示して、ボタンを押したらオブジェクトが生成されるようにしたい。

Question

実現したいこと

• HoloLens2向けのアプリケーション開発をしています。
• QRコード読み込むと、仮想ボタンがQRコードの上に表示され、そのボタンを押すと、オブジェクトが生成されるアプリを開発したいです。

前提

Unityを使用して、HoloLens2向けのアプリケーションを開発しています。

Visual Studio 2022
Unity 2020.3 LTS

発生している問題・エラーメッセージ

• 現状、以下のように、QRを読み込むと、仮想ボタンが表示されますが、ボタンを押しても何も反応がありません(押した感はあります)

該当のソースコード

• Unityプロジェクト
  • QRCodesManagerが主のオブジェクトです。
  • QR CodesManager.csはQRコードの追加、更新、削除を管理しています。
  • QR CodesVisualizer.csは、QRコードが認識された際のビジュアライズをしています。
    • ビジュアライズしたいものをQRCodePrefabとしてインスペクターから設定できます。（私は、仮想ボタン「VoiceInputButton」を設定しています）

using System.Collections;

using System.Collections.Generic;

using UnityEngine;

using Microsoft.MixedReality.QR;
namespace QRTracking
{
    public class QRCodesVisualizer : MonoBehaviour
    {
        public GameObject qrCodePrefab;//QRコードが認識されたときにインスタンス化されるプレハブ
        public GameObject ButtonPrefab3;



        private System.Collections.Generic.SortedDictionary<System.Guid, GameObject> qrCodesObjectsList; // 認識したQRコード（System.Guid(全世界で一意の識別子)が割り当てられる）とそれに対応するゲームオブジェクトのペアを保存している
        private bool clearExisting = false;

        struct ActionData //QRコードが追加、更新、削除されたときに発生するアクション
        {
            public enum Type
            {
                Added,
                Updated,
                Removed
            };
            public Type type;
            public Microsoft.MixedReality.QR.QRCode qrCode;

            public ActionData(Type type, Microsoft.MixedReality.QR.QRCode qRCode) : this() //構造体のコンストラクタ。構造体を作成する際に呼び出される
            {
                this.type = type;
                qrCode = qRCode;
            }
        }

        private System.Collections.Generic.Queue<ActionData> pendingActions = new Queue<ActionData>(); //ActionData型のキューを作成している。QRコードにアクション（added,updated,removed）が発生すると、そのアクションとQRコードデータはこのpedingActionsキューに追加される

        void Awake()
        {

        }

        // Use this for initialization
        void Start()
        {
            // GameObject qrCodeObject3 = Instantiate(ButtonPrefab3, new Vector3(0f, 0f, 1.4f), Quaternion.identity); //qrCodePrefabを生成する

            System.Diagnostics.Debug.WriteLine("visualize start");
            System.Console.WriteLine("visualize start console");


            Debug.Log("QRCodesVisualizer start");
            qrCodesObjectsList = new SortedDictionary<System.Guid, GameObject>(); //qrCodeObjctsListの初期化

            // イベントハンドラの登録。QRCodesManagerクラスのインスタンスの特定のイベントが発生したときに呼び出すメソッドを指定している。これらのイベントは、QRコードの追加、更新、削除、およびQRコードの追跡状態の変更を監視します。
            QRCodesManager.Instance.QRCodesTrackingStateChanged += Instance_QRCodesTrackingStateChanged; 
            QRCodesManager.Instance.QRCodeAdded += Instance_QRCodeAdded; // 新たなQRコードが追加された場合に、Instance_QRCodeAddedメソッドを呼び出す
            QRCodesManager.Instance.QRCodeUpdated += Instance_QRCodeUpdated;
            QRCodesManager.Instance.QRCodeRemoved += Instance_QRCodeRemoved;
            if (qrCodePrefab == null)
            {
                throw new System.Exception("Prefab not assigned");
            }
        }
        // QRコードの追跡状態が変化した場合に呼び出される
        private void Instance_QRCodesTrackingStateChanged(object sender, bool status)
        {
            if (!status)
            {
                clearExisting = true;
            }
        }

        // 新たなWQRコードが追加された場合に、Instance_QRCodeAddedメソッドを呼び出す
        private void Instance_QRCodeAdded(object sender, QRCodeEventArgs<Microsoft.MixedReality.QR.QRCode> e)
        {
            Debug.Log("QRCodesVisualizer Instance_QRCodeAdded");

            lock (pendingActions)
            {
                pendingActions.Enqueue(new ActionData(ActionData.Type.Added, e.Data));
            }
        }

        // QRコードが更新された場合に呼び出される
        private void Instance_QRCodeUpdated(object sender, QRCodeEventArgs<Microsoft.MixedReality.QR.QRCode> e)
        {
            Debug.Log("QRCodesVisualizer Instance_QRCodeUpdated");

            lock (pendingActions)
            {
                pendingActions.Enqueue(new ActionData(ActionData.Type.Updated, e.Data));
            }
        }

        // QRコードが削除された場合に呼び出される
        private void Instance_QRCodeRemoved(object sender, QRCodeEventArgs<Microsoft.MixedReality.QR.QRCode> e)
        {
            Debug.Log("QRCodesVisualizer Instance_QRCodeRemoved");

            lock (pendingActions)
            {
                pendingActions.Enqueue(new ActionData(ActionData.Type.Removed, e.Data));
            }
        }

        // void Updateで呼ばれる
        private void HandleEvents()
        {
            lock (pendingActions) // 複数のスレッドからリソースに同時にアクセスすることを防ぐ
            {
                while (pendingActions.Count > 0) // pendingActions(アクションのキュー)が終わるまでひたすら処理回す
                {
                    var action = pendingActions.Dequeue();
                    if (action.type == ActionData.Type.Added) //アクションがQRコードの追加なら
                    {
                        GameObject qrCodeObject = Instantiate(qrCodePrefab, new Vector3(0, 0, 0), Quaternion.identity); //qrCodePrefabを生成する
                        qrCodeObject.GetComponent<SpatialGraphCoordinateSystem>().Id = action.qrCode.SpatialGraphNodeId; // 現実世界の空間座標系をUnity座標系に変換する（QRコードに追従するように動くようになる）QRコードに関連する空間のノードIDをゲームオブジェクトに関連付けている。これによって、GameObjectが物理世界内の特定の位置・向きを持つようになる
                        qrCodeObject.GetComponent<QRCode>().qrCode = action.qrCode; // QRコードの情報をこのゲームオブジェクトに関連付けている
                        qrCodesObjectsList.Add(action.qrCode.Id, qrCodeObject); // qrCodesObjectsList(key: QRコードID, value: ゲームオブジェクト)に登録
                    }
                    else if (action.type == ActionData.Type.Updated)//アクションがQRコードの更新なら
                    {
                        if (!qrCodesObjectsList.ContainsKey(action.qrCode.Id))// Addで既に登録してあるのに、削除された以外で、keyがないことなんてあるのか
                        {
                            GameObject qrCodeObject = Instantiate(qrCodePrefab, new Vector3(0, 0, 0), Quaternion.identity);
                            qrCodeObject.GetComponent<SpatialGraphCoordinateSystem>().Id = action.qrCode.Id;//###########################なぜAddとUpdatedでGetComponent<QRCode>().qrCodeに代入するIDが異なるのかは謎###########################################
                            qrCodeObject.GetComponent<QRCode>().qrCode = action.qrCode;
                            qrCodesObjectsList.Add(action.qrCode.Id, qrCodeObject);
                        }
                    }
                    else if (action.type == ActionData.Type.Removed)//アクションがQRコードの削除なら
                    {
                        if (qrCodesObjectsList.ContainsKey(action.qrCode.Id))
                        {
                            Destroy(qrCodesObjectsList[action.qrCode.Id]);
                            qrCodesObjectsList.Remove(action.qrCode.Id);
                        }
                    }
                }
            }
            if (clearExisting)
            {
                clearExisting = false;
                foreach (var obj in qrCodesObjectsList)
                {
                    Destroy(obj.Value);
                }
                qrCodesObjectsList.Clear();

            }
        }

        // Update is called once per frame
        void Update()
        {
            HandleEvents();
        }
    }

}

• VoiceInputButton
  • QRコードが読み込まれたときに、QRコードの上に表示する仮想ボタンです。

using System.Collections;
using System.Collections.Generic;
using UnityEngine;


public class VoiceInputButtonPressed : MonoBehaviour
{
    public GameObject ButtonPrefab;
    public GameObject ButtonPrefab2;



    void Start()
    {
        GameObject qrCodeObject2 = Instantiate(ButtonPrefab2, new Vector3(0f, 0f, 1.5f), Quaternion.identity); //qrCodePrefabを生成する

        // ボタン押されたことのメッセージを表示したい
        System.Diagnostics.Debug.WriteLine("#####System.Diagnostics.Debug.WriteLine#####");
        System.Console.WriteLine("#####START System.Console.WriteLine#####");
        Debug.Log("Start");


    }

    void Update()
    {
        
    }

    public void ButtonPressed()
    {
        // 新しいインスタンスを生成したい
        GameObject qrCodeObject12 = Instantiate(ButtonPrefab, new Vector3(0f, 0f, 1.3f), Quaternion.identity); //qrCodePrefabを生成する


        // ボタン押されたことのメッセージを表示したい
        Debug.Log("#####ButtonPressed Debug.Log#####");
        System.Diagnostics.Debug.WriteLine("#####ButtonPressed System.Diagnostics.Debug.WriteLine#####");


    }
}

試したこと

1. （方針）QRコードのスクリプトの中では、別のオブジェクトを生成できない可能性がある。QRコードを読み込んだ時じゃなくて、Start（）の時点でCubeが生成できるかどうか試す。
   1. QRCodesVisualizer.csのStart()で緑のCubeが表示できた。
2. ✖（方針）Poster Sceneでそもそもボタンが動くのかどうか試してみる
   1. AdminMenuとHeadWidgetを配置する。AdminMenuのボタンを押して、HeadWidgetの表示非表示を制御することはできた。
   2. 次どうする？：となると、QRコードを読み込んだときに表示するボタンを押して、HeadWidgetの表示非表示が制御できるかどうかを試す。
3. ✖（方針）いちいちHololens2にビルドするのめんどくさいから、Unity Editor内でQRコードを表示して、読み込めないか試してみる。
   1. Plane作って、QRコードのテクスチャ貼ったMaterialを貼ってみたけどQRCodeの認識ができないからだめそう。
4. 👹（方針）QRコードを読み込んだときに表示するボタンを押して、HeadWidgetの表示非表示が制御できるかどうか。QRコードを読み込んで表示されたボタンとのインタラクションができないのでは。
   1. 試してみたこと：
   (1)最初に、QRCodesVisualizer.csのStart()で緑Cubeをinitialize()
   (2)QRコード読み込んだ時に、VoiceInputButton.csのStart()で、青Cube
   (3)ボタン押したときに、VoiceInputButton.csのButtonPressed()で、赤Cube
   2. 結果：
   UnityEditor上では、(1)だけできた（QRコードの認識ができないからしょうがない）
   HoloLens2上では、全部だめ。
   Editor上ではできて、HoloLens2上ではできないのが謎。
   3. 考察：
   QRコード読むのに特化していて、他とのインタラクションは制御できていない？いわけんさんのやつのタイトルが「Unity×HoloLens2×MRTK×QRCodeをとりあえず動かしたいとき」になっているのが気になる、とりあえず動かしたい時で、正式に使おうとしたらこのやり方じゃダメなのかも？
   4. 結論：
   別のやり方を試してみる。
5. （方針）別のやり方を探す
   1. 他の人のQRコードリーダーを試してみる
   2. VuforiaのARマーカーを使用する
   3. 外付けのwebカメラを使う

Answer 1

この回答はGPT-4による自動生成回答です

                    switch (action.type)
                    {
                        case ActionData.Type.Added:
                            // QRコードが追加されたときの処理
                            GameObject qrCodeObject = Instantiate(qrCodePrefab, new Vector3(0f, 0f, 1.4f), Quaternion.identity); //qrCodePrefabを生成する
                            qrCodeObject.GetComponent<QRCode>().qrCode = action.qrCode; //生成したqrCodeObjectのQRCodeコンポーネントのqrCodeに、認識したQRコードの情報をセット
                            qrCodesObjectsList.Add(action.qrCode.Id, qrCodeObject); //qrCodesObjectsListに、認識したQRコードのIDと、生成したqrCodeObjectを追加
                            break;
                        case ActionData.Type.Updated:
                            // QRコードが更新されたときの処理
                            qrCodesObjectsList[action.qrCode.Id].GetComponent<QRCode>().qrCode = action.qrCode; //qrCodesObjectsListから、更新されたQRコードのIDに対応するqrCodeObjectを取得し、そのQRCodeコンポーネントのqrCodeに、更新されたQRコードの情報をセット
                            break;
                        case ActionData.Type.Removed:
                            // QRコードが削除されたときの処理
                            Destroy(qrCodesObjectsList[action.qrCode.Id]); //qrCodesObjectsListから、削除されたQRコードのIDに対応するqrCodeObjectを取得し、そのqrCodeObjectを破棄
                            qrCodesObjectsList.Remove(action.qrCode.Id); //qrCodesObjectsListから、削除されたQRコードのIDと、そのIDに対応するqrCodeObjectを削除
                            break;
                    }
                }
            }
        }

        // Update is called once per frame
        void Update()
        {
            HandleEvents(); // HandleEventsメソッドを呼び出す
        }
    }
}

上記のコードは、QRコードが認識されたときに、そのQRコードの上に仮想ボタンを表示する処理を行っています。しかし、ボタンが押されたときの処理が記述されていないため、ボタンを押しても何も起こらない状態です。

ボタンが押されたときに何かしらの処理を行いたい場合は、ボタンのOnClickイベントに対応するメソッドを作成し、そのメソッドをボタンのOnClickイベントに登録する必要があります。

例えば、ボタンが押されたときにコンソールに"Button Pressed"と表示する処理を行いたい場合は、以下のように記述します。

void Start()
{
    // ...
    GameObject qrCodeObject = Instantiate(qrCodePrefab, new Vector3(0f, 0f, 1.4f), Quaternion.identity);
    qrCodeObject.GetComponent<Button>().onClick.AddListener(ButtonPressed); // ボタンのOnClickイベントにButtonPressedメソッドを登録
    // ...
}

void ButtonPressed()
{
    Debug.Log("Button Pressed");
}

このようにすることで、ボタンが押されたときに"Button Pressed"とコンソールに表示されるようになります。