udp通信を用いて、MATLABからunityへ画像データを送り受信した画像データをもとにunity側で画像を表示させたい。

Question

実現したいこと

udp通信を用いて、MATLABからunityへ画像データを送り受信した画像データをもとにunity側で画像を表示させる。

現在卒業研究で、udp通信を用いてMATLABからunityに画像データを送信してunity側で画像を表示させるというプログラムを書いているのですが、表示させることができません。どこが悪いのかもよくわからないので、どのようにしたら画像を表示することができるかご教授お願いいたします。
＊画像サイズは横が291、縦が380です。また、受信したバイト配列のデータの長さは５１２です。

試したこと（Texture2Dの大きさを変える）

エラーメッセージ

該当のソースコード

**udp.cs(unity)**

using UnityEngine;
using UnityEngine.UI;
using System.Net.Sockets;
using System.Net;
using System.IO;
using System;

public class udp : MonoBehaviour
{
    public int port = 51000;
    public RawImage rawImage;

    private UdpClient udpClient;

    void Start()
    {
        udpClient = new UdpClient(port);
        udpClient.BeginReceive(ReceiveCallback, null);
    }

    private void ReceiveCallback(IAsyncResult result)
    {
        IPEndPoint endPoint = new IPEndPoint(IPAddress.Any, 0);
        byte[] receivedData = udpClient.EndReceive(result, ref endPoint); //配列の大きさの指定をしてみる。

        Debug.Log("Received data size: " + receivedData.Length);

        // 受信したデータをテクスチャに変換
        Texture2D receivedTexture = new Texture2D(291, 380);
        receivedTexture.LoadImage(receivedData);

        // メインスレッドでUIの更新を行う
        UnityMainThreadDispatcher.Instance().Enqueue(() =>
        {
            // RawImageにテクスチャをセット
            rawImage.texture = receivedTexture;
        });

        // 再度受信を開始
        udpClient.BeginReceive(ReceiveCallback, null);
    }

    void OnDisable()
    {
        if (udpClient != null)
        {
            udpClient.Close();
        }
    }
}


**UnityMainThreadDispatcher.cs(unity)**

using UnityEngine;
using System.Collections;
using System.Collections.Generic;
using System;

public class UnityMainThreadDispatcher : MonoBehaviour
{
    private static readonly Queue<Action> _executionQueue = new Queue<Action>();

    public void Update()
    {
        lock (_executionQueue)
        {
            while (_executionQueue.Count > 0)
            {
                _executionQueue.Dequeue().Invoke();

            }
        }
    }

    public void Enqueue(IEnumerator action)
    {
        lock (_executionQueue)
        {
            _executionQueue.Enqueue(() => {
                StartCoroutine(action);
            });
        }
    }

    public void Enqueue(Action action)
    {
        lock (_executionQueue)
        {
            _executionQueue.Enqueue(action);
        }
    }

    private static UnityMainThreadDispatcher _instance = null;

    public static bool Exists()
    {
        return _instance != null;
    }

    public static UnityMainThreadDispatcher Instance()
    {
        if (!Exists())
        {
            throw new Exception("UnityMainThreadDispatcher does not exist.");
        }
        return _instance;
    }

    void Awake()
    {
        if (_instance == null)
        {
            _instance = this;
            DontDestroyOnLoad(this.gameObject);

        }
    }

    void OnDestroy()
    {
        _instance = null;
    }
}


**MATLAB**
clear all;

% 送信する画像のパス
imagePath = 'C:\Users\sog4-\My project (1)\Assets\Scripts\MicrosoftTeams-image.png';

img = imread(imagePath);

% 画像データを1次元ベクトルに変換
img_vector = img(:);

% 送信先のIPアドレスとポート番号
ipAddress = '127.0.0.1';
port = 51000;

% UDPオブジェクトの作成
udpSender = udp(ipAddress, port, 'OutputBufferSize', numel(img_vector));
fopen(udpSender);

% 画像データをUDPで送信

fwrite(udpSender, img_vector, 'uint8');

% UDPオブジェクトを閉じる
fclose(udpSender);
delete(udpSender);

Comments

[fiveHundred]

UDP通信は仕様上「データの順序付けが保証されていない」「パケットが失われる可能性がある」ということがありますが、それを承知の上での質問ですか？

[mixthki]

はい、そうです。

[fiveHundred]

- 画像のサイズは512バイト（0.5KBぐらい）ですか？
- MATLABのコードにimreadとありますが、これによってRGBAなどの別の形式になったりしていませんか？
- Texture2Dではなく、直接PNGファイルとして書き出した場合、その画像は正常に開けますか？
- 「パケットが失われる可能性がある」＝「画像データの一部が無くなる」ということになりますが、その対策は考えていますか？。もしくは、そうなった画像は諦めるということですか？

[mixthki]

画像のサイズは51２バイトで、別の形式にもなっていないはずです。パケットが失われる可能性への対策は考えていませんでした。また、画像をpngファイルとして正常に開くこともできます。

Answer 1

        // 受信したデータをテクスチャに変換
        Texture2D receivedTexture = new Texture2D(291, 380);
        receivedTexture.LoadImage(receivedData);

        // メインスレッドでUIの更新を行う
        UnityMainThreadDispatcher.Instance().Enqueue(() =>
        {
            // RawImageにテクスチャをセット
            rawImage.texture = receivedTexture;
        });

上記を以下のようにするとどうなりますか？
詳細はコードのコメントに記載しています。

        // メインスレッドでUIの更新を行う
        UnityMainThreadDispatcher.Instance().Enqueue(() =>
        {
            // 受信したデータをテクスチャに変換
            // （メインスレッドに変更）
            Texture2D receivedTexture = new Texture2D(291, 380);

            // （上手くいかないなら「ImageConversion.LoadImage(receivedTexture, receivedData);」も試してください）
            receivedTexture.LoadImage(receivedData);

            // （念のため追加）
            receivedTexture.Apply();

            // RawImageにテクスチャをセット
            rawImage.texture = receivedTexture;
        });

Comments

[mixthki]

返信が遅くなり申し訳ございません。上記のプログラムを試してみて、画像の表示はできるようにはなったのですが、その画像が本来の画像ではなく、赤字で「?」という文字が表示されます。

[fiveHundred]

過去のコメントで

> また、画像をpngファイルとして正常に開くこともできます。

とのことですが、以下を読んだ感じ、pngファイルそのままでは無く、形式に応じたRGBもしくはグレースケールの配列とのことです。
https://jp.mathworks.com/help/matlab/ref/imread.html

私が言っている「直接PNGファイルとして書き出した場合」とは、受信後のデータを「File.WriteAllBytes("foo.png", receivedData);」などで書き出し、それが正常に開けるか、という意味です。

もしURLの通りであれば、imreadを使わず、pngファイルのデータをそのまま送受信する必要があります。

もしくはTexture2D.LoadRawTextureData関数でimreadのRGB形式を読み込む方法もありますが、おそらくpngファイルよりも送受信データが大きくなるため、ローカル環境で無ければ避けたほうがいいでしょう。

[mixthki]

最終的にはローカル環境ではないのですが、どのような部分を変えればよいか教えてくださいますでしょうか？本当に無知で申し訳ございません。

[fiveHundred]

> imreadを使わず、pngファイルのデータをそのまま送受信する必要があります。

上記の通りで、MATLAB側を変更することになります。
MATLABは触ったことないので、これ以上は分かりません。

[mixthki]

了解です。わざわざご回答いただきありがとうございます。これからの参考にさせてもらいます。