Windows-Unity間のUDP通信による顔認識データの送信

Question

現在、VisualStudio2019で作成したexeファイルをWindowsで起動させて、
その際に得たデータをpicojson化しUDP通信を用いてUnityのMonoBehaviourを継承したクラスで受信することを考えています。
これにより、Unity内のゲームオブジェクトを
顔の動きに合わせて動かしたいと考えています。
その際に、受信側に関して、ゲームオブジェクトに貼り付けて、データを受信するプログラムの作成がうまくいかずに難航しています。

データは下記のように、WEBカメラを用いて顔認証をした際の顔座標、顔位置を数値化したものを使います。

//Unity側への送信用データを作成する(picojsonへ読み込み)
            picojson::object obj;
            //顔位置X座標
            obj.emplace(std::make_pair("horizontal_pos", actor.horizontal_pos));
            //顔位置Y座標
            obj.emplace(std::make_pair("vertical_pos", actor.vertical_pos));
            //顔姿勢 Y軸
            obj.emplace(std::make_pair("yow", actor.yaw));
            //顔姿勢 X軸
            obj.emplace(std::make_pair("pitch", actor.pitch));
            //顔姿勢 Z軸
            obj.emplace(std::make_pair("roll", actor.roll));
            //全部の顔器官点を格納
            picojson::array mouse;
            for (unsigned int i = 0; i < FACIAL_POINTS; ++i)
            {
                picojson::array coord;
                coord.push_back(picojson::value((double)shape.part(i).x()));
                coord.push_back(picojson::value((double)shape.part(i).y()));
                mouse.push_back(picojson::value(coord));
            }
            obj.emplace(std::make_pair("obj", picojson::value(mouse)));
            //文字列に変換
            picojson::value val(obj);

            //シリアライズ
            std::string msg = val.serialize();
            //送信 sendto(ソケット, 送信するデータ, データのバイト数, フラグ, アドレス情報, アドレス情報のサイズ);
            sendto(sock, msg.c_str(), msg.size(), 0, (struct sockaddr*) & addr, sizeof(addr));

データ送信に関してはサンプルコードがあり、それを参考にすることで作成しました。
しかし、受信側に関してはwindowsを用いた場合のサンプルコードが見つけられておらず、テスト用のプログラムも作成できておりません。

私自身がUDP通信やプログラムを触り始めということもありますので、
参考となる文献や、実現するために必要なコマンドに関してご教授いただけると幸いです。

Comments

[dodox86]

UDPの受信側はUnityのMonoBehaviourを継承したクラスで、と言うことでしょうか。C#での記述になると思いますが、Unity必須かどうかで回答も少し変わってくるかと思いますので、その辺りを質問文中に追記した方が良いと思います。Unityはいったん置いておいて、C#、.NET Frameworkを利用したUDP通信なら、サンプルは豊富にあるはずです。

[Izayoi-san]

ご指摘頂きありがとうございます。
指摘頂いたことから、私の実現したい内容が不明瞭であったと認識したため、それらについて質問文中に追記しました。

今回は顔認証に基づく、顔の座標などの数値をUnity内のゲームオブジェクトに反映させたいと考えているため、Unityは必須になります。

UDP通信について調べたところ、Windowsではなく、Linuxを使っているものならありました。
しかし、Linux用のプログラムに用いられているヘッダーファイルが、Windowsでは用意されていないなど、参考にすることが困難であったため、御教授頂けると幸いです。

[dodox86]

> データを受信するプログラムの作成がうまくいかずに難航しています。

うまくいかず難航、と言うことはコード自体は試されて書かれているように文面からは思えます。そのコードでどう難航しているのか示した方が良いのではないかと。

[dodox86]

> windowsを用いた場合のサンプルコードが見つけられておらず、テスト用のプログラムも作成できておりません。

この点を見落としていました。要は、Unity側のプログラムでUDPでの受信は今現在は一切できていないということですね。

[Izayoi-san]

恥ずかしながらおっしゃる通りです。
サンプルコードを探して、それを改良する。という手順を考えていましたが、見つけられたサンプルコードがLINUX用であり、ヘッダーファイルがWindowsでは使えないないものであったため、受信用のプログラムが何一つできていない、という状態です。
そのため、参考文献やサンプルコードに関して、ご教授いただければと思い質問をさせていただきました。

Answer 1

Linux(UN*X)やWindowsのネイティブでのUDP通信のプログラミングは基本、C言語でのものとなるので、ソケットプログラミングの勉強として構えない限り、質問者さんがやりたいことには直接結びつきません。（ただし、内容を理解する限り、決して無駄ではありません）

UDPの受信側のプラットフォームがUnityであるということは、用いるプログラミング言語としてはC#になろうかと思います。この場合、.NET Framework、.NET CoreでのUDP送信、受信のサンプルとその使い方にまずあたるべきでしょう。

UDPによりデータの送受信を行う - dobon.net

受信側はいつそのUDPのデータ受信がなされるかは分からないので、Unityでプログラミングするのであれば、スレッドや非同期での受信を行うかたちになるはずです。

UdpClient.BeginReceive - Microsoft Docs

このマイクロソフトのUdpClient.BeginReceiveのリファレンス中に示してあるサンプルコードをUnity用にあてはめて書くと、およそ以下のようになります。UDPポート番号として2002番で受信し、UnityEngine.Debug.Log()で出力します。

using System;
using UnityEngine;

public class UdpReceiver : MonoBehaviour
{
    // バインドするUDPポート番号
    private static readonly int PortNo = 2002;

    // 受信回数
    private int receiveNum = 0;

    private System.Net.Sockets.UdpClient udpClient = null;
    private System.Net.IPEndPoint endPoint = null;

    // Start is called before the first frame update
    void Start()
    {
        Debug.Log("UdpReceiver.Start(): at " + System.DateTime.Now.ToLongTimeString());

        endPoint = new System.Net.IPEndPoint(System.Net.IPAddress.Any, PortNo);
        udpClient = new System.Net.Sockets.UdpClient(endPoint);

        UdpState state = new UdpState()
        {
            client = udpClient,
            ep = endPoint,
        };

        udpClient.BeginReceive(new AsyncCallback(ReceiveCallback), state);
    }

    // Update is called once per frame
    void Update()
    {

    }

    void OnApplicationQuit()
    {
        Debug.Log("UdpReceiver.OnApplicationQuit(): at " + System.DateTime.Now.ToLongTimeString());
        if (udpClient != null)
        {
            udpClient.Close();
        }
    }

    public void ReceiveCallback(IAsyncResult ar)
    {
        ++receiveNum;

        UdpState state = (UdpState)ar.AsyncState;
        System.Net.Sockets.UdpClient client = state.client;
        System.Net.IPEndPoint ep = state.ep;

        byte[] receiveBytes = client.EndReceive(ar, ref ep);
        string receiveString = System.Text.Encoding.UTF8.GetString(receiveBytes);

        string message = string.Format("num={0}, len={1}, message=[{2}]",
            receiveNum, receiveBytes.Length, receiveString);
        System.Diagnostics.Debug.WriteLine(message);
        Debug.Log(message);

        // 再度、受信開始
        udpClient.BeginReceive(new AsyncCallback(ReceiveCallback), state);
    }

    public struct UdpState
    {
        public System.Net.Sockets.UdpClient client;
        public System.Net.IPEndPoint ep;
    }
}

私自身がUDP通信やプログラムを触り始めということもあります

C言語での直接的なソケットプログラミングと比べて、C#や.NET、その他Unityならではの使い方を意識しなければならない部分はどうしても出てきます。それらの組み合わせで気を付けないといけませんが、それぞれ単独で見ると決して難しいプログラミングではありません。(UDPの)ソケットプログラミング、C#、.NET、Unity、それぞれを理解してから組み合わせていくと良いと思います。と言いますかプログラミングもソケット通信も初心であれば、最初から全て一緒にやると効率も悪く、理解もプログラムの完成もままならないと思います。

尚、UDPの送受信に関しては、Linux(UN*X)であればncコマンドと言うものが便利に使えます。上記のUnityプログラムを実行させるとUDPポート番号2002番で受信待ちしている訳ですが、ncコマンドでデータを送信できるので、これをテスト用に使うこともできます。自作の送信プログラムを使うのも良いですが、適時、使い分けると良いです。

Comments

[Izayoi-san]

サンプルコードやURLを添えて返答いただきありがとうございます。
現在、添付していただいたURLなどを参考に勉強させていただいております。
まだ受信側や、検討しているシステムが完成したわけではありませんが、先にお礼だけ言わせていただきたく思い、コメントさせていただきました。

進捗があり次第、再度コメントする予定です。

[Izayoi-san]

記載していただいたURL先のサイトとプログラムを参考に、通信のテストに成功しました。
次は.cppをもとに作成予定のexeファイルで顔認識を実施し、その結果をUNITYに通信について検討する段階に移れました。

[dodox86]

進展があって良かったです。プログラムの完成に向けて、頑張ってください。