常連

### 前提

ここに質問の内容を詳しく書いてください。
（例）
TypeScriptで●●なシステムを作っています。
■■な機能を実装中に以下のエラーメッセージが発生しました。

### 実現したいこと

ここに実現したいことを箇条書きで書いてください。
- [ ] ▲▲機能を動作するようにする

### 発生している問題・エラーメッセージ

```
エラーメッセージ
```

### 該当のソースコード

```ここに言語名を入力
ソースコード
```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。


What Solutions Do You Use Daily That Use AI?

### 前提・実現したいこと

最近MicrosoftのHololens2を使ったアプリケーション開発を始めたのですが、rossharpを利用してUnityアプリとrosの間でコミュニケーションをとろうと思っています。
Hololens2で起動するアプリ内でHololens2のカメラ映像をraw_imageとしてrosに配信したいです。
（アプリ開発のツールとしてMRTKを導入しています）

### 発生している問題

まず最初は何も考えずにImagePublisherコンポーネントのImageCameraにHierarchyからMixedRealityPlaySpace/Main Cameraを選択しました。しかし実行してみると、Display1 No Cameras Renderingと出てしまい、エラーとなりました。
そこでこのMain Cameraを複製したところBuildまで上手くいき、アプリもしっかり動き、以下のようにデータも送られていました。
![Ubuntu](b59d4bd18a70ffae3ecfa94fed4e8002.png)
しかし、この画像をrqt_image_viewを使って可視化してみたところ以下のように画面一面が灰色で上手くHololens2のカメラ映像が表示されません。
![Ubuntu](768c5c84f9113d34ecb66d0e2882656e.png)
いろいろ検索したのですが、そもそもこのスクリプトを使っているところを見つけられず、手本もなく途方に暮れています。

#ImagePublisher.cs

```C#
using UnityEngine;

namespace RosSharp.RosBridgeClient
{
    public class ImagePublisher : UnityPublisher<MessageTypes.Sensor.CompressedImage>
    {
        public Camera ImageCamera;
        public string FrameId = "Camera";
        public int resolutionWidth = 640;
        public int resolutionHeight = 480;
        [Range(0, 100)]
        public int qualityLevel = 50;

        private MessageTypes.Sensor.CompressedImage message;
        private Texture2D texture2D;
        private Rect rect;

        protected override void Start()
        {
            base.Start();
            InitializeGameObject();
            InitializeMessage();
            Camera.onPostRender += UpdateImage;
        }

        private void UpdateImage(Camera _camera)
        {
            if (texture2D != null && _camera == this.ImageCamera)
                UpdateMessage();
        }

        private void InitializeGameObject()
        {
            texture2D = new Texture2D(resolutionWidth, resolutionHeight, TextureFormat.RGB24, false);
            rect = new Rect(0, 0, resolutionWidth, resolutionHeight);
            ImageCamera.targetTexture = new RenderTexture(resolutionWidth, resolutionHeight, 24);
        }

        private void InitializeMessage()
        {
            message = new MessageTypes.Sensor.CompressedImage();
            message.header.frame_id = FrameId;
            message.format = "jpeg";
        }

        private void UpdateMessage()
        {
            message.header.Update();
            texture2D.ReadPixels(rect, 0, 0);
            message.data = texture2D.EncodeToJPG(qualityLevel);
            Publish(message);
        }

    }
}

```

### 試したこと

- PlayerSettingでCapablityのWebCameraを有効する
- Hololens2のResearch Modeを有効にする
- 送られたデータを解凍してから再送し、表示してみる（結果は同じでした）

### 補足情報（FW/ツールのバージョンなど)

Unity:2019.4.15f1
MRTK:2.5.1
ros:kinetic
rossharp: https://github.com/EricVoll/ros-sharp

Hololens2とRosで通信を行って、Hololens2のカメラ映像をraw_imageとして配信したい

### 現状
研究用にhololens2を用いて、視線データとIMUセンサのデータをcsvファイルとして出力するシステムを作っています。

初めての質問のため至らない点も多いと思いますがデータが取れずに途方に暮れています。何卒よろしくお願いします。


### 実現したいこと

- Unityで実装したアプリの中でstreamwriterを用いて毎フレームごとにセンサ値をcsvファイルに追加するコードを作成したい。 

### 発生している問題・エラーメッセージ

Updateクラス内でファイルの作成を指示しているが実行してもファイルが生成されない

### 該当のソースコード

```C#
using System.IO;
using System.Text;

public class Gazeget : MonoBehaviour
{
   
   private FileInfo fil;

   void Start()
   {
       string filepath = UnityEngine.Application.persistentDataPath + "/data.csv";
       fil = new FileInfo(filepath);

   }

   void Update()
   {
       
       StreamWriter sw ;
       sw = fil.AppendText();
       sw.WriteLine("センサデータ");
       sw.Flush();
       sw.Close();

          
   }
}
```

### 試したこと

・単純にstartの中でファイルを作成した際には作成が確認できたのでパスは間違っていない。(しかし、そこにupdateで書き込むことはできなかった。

・usingを呼び出してその中でstreamwriterを呼び出した。



### 補足情報（FW/ツールのバージョンなど）

コードから離れて書いているため実際のコードをかなり簡単に書き直したものになっています。


ツール

```
HoloLens2 
Unity 2019
Visual studio 2019
```


HoloLens2のセンサデータをcsvファイルに書き込みたいがstreamwriterを使ってもファイルが生成、書き込みされない

### 前提・実現したいこと

MicroSoftの公式ドキュメントにある[PhotoCapture](https://docs.microsoft.com/en-us/windows/mixed-reality/develop/unity/locatable-camera-in-unity)を利用して、撮影した写真をTexture2Dに変換してから、Qurdなどに表示したい。

### 発生している問題・エラーメッセージ

下記のコードを用いてアプリを作成し、Unity上で再生したときは実際にPCのカメラで撮影された写真が視界前方にQurdを生成しつつ、表示されました。HolographicEmulationを利用してHololens2で実行した場合も同様にPCのカメラで撮影された写真が表示されました。しかし、これをHololens2にBuildしてHololens2で起動すると、Qurdは視界前方ではなくHeadの位置に生成され、Textureも灰色一色で撮影された写真が表示されることはありませんでした。同ドキュメント内にある撮影した写真をファイルに保存するなどは上手くいったのですが、Texture2Dに変換して表示するのは上手くいきません。説明が拙くわかりづらいかもしれないですが、原因や解決方法を教えていただけると助かります。

### 該当のソースコード

```C#
using System.Collections;
using System.Collections.Generic;
using System.Linq;
using UnityEngine;
using UnityEngine.Windows.WebCam;

public class CompressedPhotoCapture : MonoBehaviour
{
    private PhotoCapture photoCaptureObject = null;
    public Texture2D targetTexture;

    void Start()
    {

    }

    public void CaptureStart()
    {
        PhotoCapture.CreateAsync(true, OnPhotoCaptureCreated);
    }

    private void OnPhotoCaptureCreated(PhotoCapture captureObject)
    {
        Resolution cameraResolution = PhotoCapture.SupportedResolutions.OrderByDescending((res) => res.width * res.height).First();
        targetTexture = new Texture2D(cameraResolution.width, cameraResolution.height);

        photoCaptureObject = captureObject;

        CameraParameters c = new CameraParameters();
        c.hologramOpacity = 0.0f;
        c.cameraResolutionWidth = cameraResolution.width;
        c.cameraResolutionHeight = cameraResolution.height;
        c.pixelFormat = CapturePixelFormat.BGRA32;

        captureObject.StartPhotoModeAsync(c, OnPhotoModeStarted);

    }

    private void OnPhotoModeStarted(PhotoCapture.PhotoCaptureResult result)
    {
        if (result.success)
        {
            photoCaptureObject.TakePhotoAsync(OnCapturedPhotoToMemory);
        }
        else
        {
            Debug.LogError("Unable to start photo mode!");
        }
    }

    private void OnCapturedPhotoToMemory(PhotoCapture.PhotoCaptureResult result, PhotoCaptureFrame photoCaptureFrame)
    {
        if (result.success)
        {
            //capture a photo to Texture2D
            photoCaptureFrame.UploadImageDataToTexture(targetTexture);

            GameObject quad = GameObject.CreatePrimitive(PrimitiveType.Quad);
            Renderer quadRenderer = quad.GetComponent<Renderer>() as Renderer;
            quadRenderer.material = new Material(Shader.Find("Unlit/Texture"));

            quad.transform.parent = this.transform;
            quad.transform.localPosition = new Vector3(0.0f, 0.0f, 3.0f);
            quadRenderer.material.SetTexture("_MainTex", targetTexture);
        }
        else
        {
            Debug.Log("Failed to save Photo to memory");
        }

        photoCaptureObject.StopPhotoModeAsync(OnStoppedPhotoMode);
    }

    private void OnStoppedPhotoMode(PhotoCapture.PhotoCaptureResult result)
    {
        photoCaptureObject.Dispose();
        photoCaptureObject = null;
    }
}

```


### 補足情報（FW/ツールのバージョンなど）
Unity:2019.4.15f1

Hololens2にてPhotoCaptureで撮影した写真をTexture2Dに変換してQurdなどに表示させたい

### 前提
Javaをサーバー，C#で書かれたUWPアプリケーション(Hololens2)をクライアントとして，TCP通信で相互通信を行いたいです。

しかし、データの送受信の以前に、サーバーを立ち上げて、クライアントを立ち上げてもこの2つが接続されなくて困っています。



### 実現したいこと

- [1] Hololensとほかのソフトウェアでの通信のためにその2つ間のTCPIP通信の開通



### 該当のソースコード

```C#
using System;
#if UNITY_UWP
using System.IO;
using System.Threading.Tasks;
using Windows.Networking;
using Windows.Networking.Sockets;
#endif

public class TcpNetworkClientManager
{

#if UNITY_UWP
    private StreamWriter writer = null;
#endif

    public TcpNetworkClientManager(string IP, int port)
    {
#if UNITY_UWP
        Task.Run(async () => {
            StreamSocket socket = new StreamSocket();
            await socket.ConnectAsync(new HostName(IP),port.ToString());
            writer = new StreamWriter(socket.OutputStream.AsStreamForWrite());
            StreamReader reader = new StreamReader(socket.InputStream.AsStreamForRead());
            try
            {
                string data = await reader.ReadToEndAsync();
            }
            catch (Exception) { }
            writer = null;
        });
#endif
    }

    public void SendMessage(string data)
    {
#if UNITY_UWP
        if (writer != null) Task.Run(async () =>
        {
            await writer.WriteAsync(data);
            await writer.FlushAsync();
        });
#endif
    }

}

```
### 該当のソースコード

```C#
using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class TCPIP : MonoBehaviour
{

    string IP = "127.0.0.1";
    int port = 3333;

  //  TcpNetworkClientManager client = null;

    // Start is called before the first frame update
    void Start()
    {
        Debug.Log("Connected");
        client = new TcpNetworkClientManager(IP, port);
    }

    // Update is called once per frame
    void Update()
    {
        
    }
}

```
### 該当のソースコード

```Java
import java.io.BufferedReader;
	import java.io.IOException;
	import java.io.InputStreamReader;
	import java.io.PrintWriter;
	import java.net.InetSocketAddress;
	import java.net.ServerSocket;
	import java.net.Socket;

public class server {
	
	public static void main(String[] args) {
		Sample1 ss = new Sample1();
		ss.runSample();

	}


}

class Sample1 {
	
	void runSample() {

		
		String data1 = "";
		String data2;
		int num;
		
	ServerSocket sSocket = null;
	Socket socket = null;
	BufferedReader reader = null;
	BufferedReader reader2 = null;
	
	PrintWriter writer = null;
	
	try{
		//IPアドレスとポート番号を指定してサーバー側のソケットを作成
		sSocket = new ServerSocket(3333);
		
	
		System.out.println("クライアントからの入力待ち状態");
		
		//クライアントからの要求を待ち続けます
		socket = sSocket.accept();
		
		System.out.println("アクセス完了");
		
		//クライアントからの受取用
		reader = new BufferedReader(
				new InputStreamReader
				(socket.getInputStream()));
		
		reader2 = new BufferedReader(
				new InputStreamReader
				(socket.getInputStream()));
		
		//クライアントへの送信用
		writer = new PrintWriter(
				socket.getOutputStream(), true);
		
        	
		while(true) {
			
			data1 = reader.readLine();
			System.out.println("1" +data1);
			if(data1.equals("bye")){
				System.out.println("2");
				break;
			}
        	
			try{
				
				num = Integer.parseInt(data1);
				
            	//data1 = reader.readLine();
				
				if(num %2 == 0){
					writer.println("OK");
				}else{
					writer.println("NG");
				}
	        	
	        	/*System.out.println("data1 ::" + data1 + "\n" );
	        	
	        	data2 = reader2.readLine();
	        	
	        	System.out.println("data2 :: " + data2 + "\n");*/
	        	
			}catch(NumberFormatException e){
        		//送信用の文字を送信
                writer.println("数値を入力して下さい");
        	}

            System.out.println("クライアントで入力された文字＝" + data1);
        }			
	}catch(Exception e){
		System.out.println("3");
		e.printStackTrace();
	}finally{
		try{
			if (reader!=null){
				reader.close();
			}
			if (writer!=null){
				writer.close();
			}
			if (socket!=null){
				socket.close();
			}
			if (sSocket!=null){
				sSocket.close();
			}
            System.out.println("サーバー側終了です");
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
	}
}
 
```

### 試したこと
https://akihiro-document.azurewebsites.net/post/hololens_sharingtcp/
https://qiita.com/SatoshiGachiFujimoto/items/91e28207ad48378d9c28
https://teratail.com/questions/130702
これらを参考に取り組んだのですが、うまく接続をできませんでした。

UWPを使用するのに慣れていないため、教えていただけると幸いです。

### 補足情報（FW/ツールのバージョンなど）
Unity2020.3.30.f1からビルドしたUWPアプリケーション(visual studio 2019)



Java server, UWP(C#)client間でのTCPIP通信

### 前提・実現したいこと

Unityを使ってHoloLens2のアプリケーション開発を行っています。
現在画面上に3Dオブジェクトを表示していて手で掴んで操作することができます。
そこでフレーム毎にy軸周りの回転量（y軸の角度差）を計算し、それを基に他の機能を追加したいと考えています。
いろいろ検索してみましたが解決策が見当たらなかったため質問として投稿させていただきます。
また、下記の変数differenceを他のスクリプトで使用する方法についてもご教授していただけると幸いです。

### 発生している問題・エラーメッセージ

```
エラーは特に起きていませんがうまくいっているのかどうか自分では判断ができていない状況です。
下記のold_angleに現在の角度を格納し、differenceで差分を検出しようという目論見ですが、Debug.Logで確認するとずっと0が出力されます。
old_angleの出力はオブジェクトの現在角になっています。
differenceの出力が正しく計算されていないこと（old_angle = difference）が原因なのかそれとも計算はきちんと行われているが変化が目視できていないのかがわかっていません。



```

### 該当のソースコード

```ここに言語名を入力
角度を扱う部分
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using System;

public class CyrinderRotation : MonoBehaviour
{

    float old_angle = 0;
    float difference = 0;

    public string GetServoAngle()
    {
        var rb = GetComponent<Rigidbody>();
        //gameObject.transform.localEulerAngles;//オブジェクトの回転座標取得
        //return $"{ConvertPitch(transform.localEulerAngles.x)},{ConvertYaw(transform.localEulerAngles.y)}";
        //transform.rigidbody.constraints = RigidbodyConstraints.FreezePosition;
        //rigidbody.constraints = RigidbodyConstraints.FreezeRotationX;
        //rigidbody.constraints = RigidbodyConstraints.FreezeRotationZ;
        
        old_angle = transform.localEulerAngles.y;
        difference = transform.localEulerAngles.y - old_angle;
        Debug.Log(old_angle);
　　　　Debug.Log(difference);
        return $"{transform.localEulerAngles.y}";
    }

   

    void start()
    {
        
    }
    public void Update()
    {
       
    }
}
```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）

Unity2019.4.15f1
HoloLens2

Unityでの角度の差分取得

Hololens2でARマーカーを活用したいと思い [ARマーカ使います？HoloLens 2でVuforiaのマーカを使うための最小環境構築](https://qiita.com/miyaura/items/72321d4017b63b732165) を手本にやっているのですが望んだ結果を得られずにいます。
### 開発環境
- unity 2019.4.12f1
- add-vuforia-package-9-8-11
- Microsoft.MixedReality.Toolkit.Unity.Foundation.2.5.1

### 現状
unity内のテストではパソコンのカメラを使いARマーカーを認識してくれるのですが、Hololens2でデバッグするとARマーカーを映しても認識してくれません。
MRTKとvuforiaの導入に関してはunity内のカスタムインポートを使って導入しています、MRTKの設定に関してはXRSDKを使う方法、legacyな方法どちらも試したのですがダメでした。
公式の[サンプル](https://assetstore.unity.com/packages/templates/packs/vuforia-hololens-1-2-sample-for-unity-2020-3-lts-101553)があるのをつい先ほど知ったんですが年始までHololens2での実機テストをすることができないので試すことが出来ずにいます。

### 聞きたいこと
自分で考えた結果、可能性としては
- プログラムは間違いなくで出来ているが実機テスト中にARマーカーを正しく認識できていない
- vuforiaのマーカー認識するカメラをHololens2の外側のカメラに正しく割り付けできていない
- 自分の凡ミスで何か必要な要素が抜けている

のどれかかなと思っているのですが、わからずにいます。Hololens2とvuforiaを組み合わせるのが初めてでつまずきやすい点や思い当たる原因があれば聞きたいです。あともう一つunity内でのテスト中ARマーカーを認識している間MRTKのポインターが荒ぶるのですがそれは仕様なのでしょうか？それとも何か荒ぶらないようにする設定があるのでしょうか？

情報量が少なくすみません、以下に実際に自分が触った部分の画像を載せておきます。
![イメージ説明](259a558cdfd763b9cd429a66acc06711.png)![イメージ説明](a624ade096b76c31b97a44425d78502f.png)

Hololens2でvuforiaのARマーカーを利用したい

### 前提・実現したいこと

ラズパイ、Unity、HoloLens2を用いてUDP通信の受信を行いたいです。
ラズパイから送信されたデータをUnity、HoloLens2で受信したいのですが現状できていないのでどなたか知恵をお貸しください。
まずはUnityのエディタ上で動作させたいと考えています。

別件ですが受信用とは別に作成したアプリケーションではUnityやHoloLens2からラズパイにUDPを送信するプログラムは正しく動作しています。

### 発生している問題・エラーメッセージ

```
ラズパイから送信されたデータが正しく受け取れない
Unityのデバッグログに特にエラーは出力されていません
```

### 該当のソースコード
Unity側のUDP受信用コード
UDPReceiver.cs
```ここに言語名を入力
using System.Collections;
using System.Net;
using System.Net.Sockets;
using System.Text;
using System.Threading;
using UnityEngine;

public class UDPReceiver : MonoBehaviour
{
	public int portNum = 60000;　//ポート番号

	static UdpClient udpClient;
	Thread thread;

	void Start()
	{
		udpClient = new UdpClient(portNum);
		thread = new Thread(new ThreadStart(ThreadProc));
		thread.Start();
	}

	void OnApplicationQuit()
	{
		thread.Abort();
	}

	private static void ThreadProc()
	{
		while (true)
		{
			IPEndPoint remoteEP = null;
			byte[] data = udpClient.Receive(ref remoteEP);
			string message = Encoding.ASCII.GetString(data);
			GameManager.Instance.AddUdpMessage(message);
		}
	}
}
```
ラズパイのUDP送信コード
UDPSend.py
```ここに言語名を入力
from socket import
# 送信側プログラム

# 送信側アドレスの設定
# 送信側IP
SrcIP = "192.168.0.118" //ラズパイのIP
# 送信側ポート番号
SrcPort = 60000
# 送信側アドレスをtupleに格納
SrcAddr = (SrcIP,SrcPort)

# 受信側アドレスの設定
# 受信側IP
DstIP = "192.168.0.104" 
#Unityを用いるPCのIPアドレス、HoloLens2でやるときはHoloLens2のアドレス

# 受信側ポート番号
DstPort = 60000
# 受信側アドレスをtupleに格納
DstAddr = (DstIP,DstPort)

# ソケット作成
udpClntSock = socket(AF_INET, SOCK_DGRAM)
# 送信側アドレスでソケットを設定
udpClntSock.bind(SrcAddr)

# 送信データの作成
data = "send data"
# バイナリに変換
data = data.encode('utf-8')

# 受信側アドレスに送信
udpClntSock.sendto(data,DstAddr)
```

送受信テストで使用したUDP受信用コード
UDPReceive.py
```ここに言語名を入力
from socket import *
# 受信側プログラム
# 受信側アドレスの設定
# 受信側IP
SrcIP = "（受信する端末のIPアドレス）"
# 受信側ポート番号                           
SrcPort = 60000
# 受信側アドレスをtupleに格納
SrcAddr = (SrcIP, SrcPort)
# バッファサイズ指定
BUFSIZE = 1024

# ソケット作成
udpServSock = socket(AF_INET, SOCK_DGRAM)
# 受信側アドレスでソケットを設定
udpServSock.bind(SrcAddr)

# While文を使用して常に受信待ちのループを実行
while True:                                     
  # ソケットにデータを受信した場合の処理
  # 受信データを変数に設定
  data, addr = udpServSock.recvfrom(BUFSIZE) 
  # 受信データと送信アドレスを出力
  print(data.decode(), addr)
```

### 試したこと
ラズパイからUDPが送信されているか確認のために、ラズパイ内部での送受信をしてデータが受け取れているか、ラズパイと別のUbuntuPCで送受信ができているか確認を行いましたがデータはちゃんと送受信できていました。
この確認には上記の送受信んの.pyのコードを使用しています。

### 補足情報（FW/ツールのバージョンなど）
使用環境
Unity2019.4.15
Microsoft HoloLens2
Raspberry pi3