OpenCV plus Unityを使って THETAでのリアルタイム画像処理を行いたいですが、画像データが正しく読み込めません

Question

実現したいこと

・Unity内で360度カメラ THETA Z1を接続し、映像のリアルタイム画像処理を行いたい。
・画像処理にはOpenCVplusUnityを使用する。

前提

まず、THETAに接続して映像を表示するためコード　
参考:(https://qiita.com/reiya_prog/items/b52be9adf7a82a89eae0 )に
OpenCVを使って画像データを透視投影変換するプログラムを追加し、
THETAでリアルタイム画像処理を行うためのテストスクリプトを作成しました。

このスクリプトを平面に追加し、Playボタンを押して実行しましたが、カメラ映像は表示されず、以下のエラーメッセージが表示されました。

ちなみに
OpenCVの画像処理のプログラムを付け加える前の元のスクリプトでは、映像は問題なく表示できております。

発生している問題・エラーメッセージ

エラーメッセージは以下の通りです。

OpenCVException: _src.total() > 0
OpenCvSharp.NativeMethods+<>c.<.cctor>b__1286_0 (OpenCvSharp.ErrorCode status, System.String funcName, System.String errMsg, System.String fileName, System.Int32 line, System.IntPtr userdata) (at Assets/OpenCV+Unity/Assets/Scripts/OpenCvSharp/PInvoke/NativeMethods.cs:190)
(wrapper native-to-managed) OpenCvSharp.NativeMethods+<>c.<.cctor>b__1286_0(OpenCvSharp.ErrorCode,intptr,intptr,intptr,int,intptr)
OpenCvSharp.Cv2.WarpPerspective (OpenCvSharp.InputArray src, OpenCvSharp.OutputArray dst, OpenCvSharp.InputArray m, OpenCvSharp.Size dsize, OpenCvSharp.InterpolationFlags flags, OpenCvSharp.BorderTypes borderMode, System.Nullable`1[T] borderValue) (at Assets/OpenCV+Unity/Assets/Scripts/OpenCvSharp/Cv2/Cv2_imgproc.cs:984)
LivePreview2+<GetLivePreview>d__2.MoveNext () (at Assets/Scripts/LivePreview2.cs:78)
UnityEngine.SetupCoroutine.InvokeMoveNext (System.Collections.IEnumerator enumerator, System.IntPtr returnValueAddress) (at <86acb61e0d2b4b36bc20af11093be9a5>:0)
UnityEngine.MonoBehaviour:StartCoroutine(IEnumerator)
LivePreview2:Start() (at Assets/Scripts/LivePreview2.cs:13)

該当のソースコード

スクリプト名:LivePreview2

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using System.Net;
using System.IO;
using OpenCvSharp;

public class LivePreview2 : MonoBehaviour{
    // 取得した画像を適用するマテリアル
    public Material view_material;

    void Start(){
        StartCoroutine(GetLivePreview());
    }

    IEnumerator GetLivePreview(){
        // POST先のURL。基本的には機種によらず同じURLで実行することができる
        const string get_livepreview_URL = "http://192.168.1.1:80/osc/commands/execute";
        WebRequest livepreview_request = HttpWebRequest.Create(get_livepreview_URL);
        livepreview_request.Method = "POST";
        livepreview_request.Timeout = 300000;

        // POSTするjsonファイルの加工
        livepreview_request.ContentType = "application/json;charset=utf-8";
        byte[] post_data = System.Text.Encoding.UTF8.GetBytes("{\"name\":\"camera.getLivePreview\"}");
        livepreview_request.ContentLength = post_data.Length;

        // 通信開始
        Stream request_stream = livepreview_request.GetRequestStream();
        request_stream.Write(post_data, 0, post_data.Length);
        request_stream.Close();
        Stream response_stream = livepreview_request.GetResponse().GetResponseStream();

        BinaryReader response_reader
            = new BinaryReader(new BufferedStream(response_stream), new System.Text.ASCIIEncoding());
        List<byte> picture_data = new List<byte>();
        bool is_load_start = false;

        // MotionJPEGで送信される画像データを受け取り次第テクスチャとして適用させ続ける
        while (true){
            byte byte_data = response_reader.ReadByte();
            if (!is_load_start){//画像データの先頭を捜索中
                // MotionJPEGの先頭2バイトは0xFFD8
                if (byte_data == 0xFF){
                    byte next_data = response_reader.ReadByte();
                    if (next_data == 0xD8){
                        // MotionJPEGの先頭2バイトの確認ができたので、画像データとして取得開始
                        picture_data.Add(byte_data);
                        picture_data.Add(next_data);

                        is_load_start = true;
                    }
                }
            }else{
                picture_data.Add(byte_data);
                // MotionJPEGの末尾2バイトは0xFFD9
                if (byte_data == 0xFF){
                    byte next_data = response_reader.ReadByte();
                    if (next_data == 0xD9){
                        // MotionJPEGの末尾2バイトの確認が出来たので、画像データをまとめてテクスチャとして適用
                        picture_data.Add(next_data);//データの追加

                        //追加ここから

                         // 画像データをMatオブジェクトに変換
                        Mat srcMat = new Mat();
                        Cv2.ImDecode(picture_data.ToArray(), ImreadModes.Color);//画像データの読み込み
                        　　　　　　　//picture_data.というリストを配列に変換し　カラーで読み込み

                        // 透視投影変換の行列を作成
                        Mat perspectiveMatrix = Cv2.GetPerspectiveTransform(
                            new Point2f[4] { new Point2f(0, 0), new Point2f(srcMat.Width, 0), new Point2f(srcMat.Width, srcMat.Height), new Point2f(0, srcMat.Height) },
                            new Point2f[4] { new Point2f(100, 100), new Point2f(srcMat.Width - 100, 100), new Point2f(srcMat.Width - 100, srcMat.Height - 100), new Point2f(100, srcMat.Height - 100) }
                        );

                        // 透視投影変換を適用
                        Mat perspectiveMat = new Mat();
                        Cv2.WarpPerspective(srcMat, perspectiveMat, perspectiveMatrix, srcMat.Size());

                        // MatをTexture2Dに変換
                        Texture2D sphereTexture = new Texture2D(perspectiveMat.Width, perspectiveMat.Height, TextureFormat.RGBA32, false);
                        OpenCvSharp.Unity.MatToTexture(perspectiveMat, sphereTexture);

                        // テクスチャとして適用
                        Destroy(view_material.mainTexture);
                        view_material.mainTexture = sphereTexture;

                        //追加ここまで

                        Texture2D sphere_texture = new Texture2D(1, 1);
                        sphere_texture.LoadImage((byte[])picture_data.ToArray());
                        Destroy(view_material.mainTexture); // 書いておかないと無限にテクスチャが増えてメモリリークする
                        view_material.mainTexture = sphere_texture;
                        picture_data.Clear();
                        System.GC.Collect();
                        is_load_start = false;
                        yield return null;
                    }else{
                        picture_data.Add(next_data);
                    }
                }
            }
        }
    }
}

ちなみに、インポートのusing OpenCvSharp;の部分と
63行目から88行目までが、THETAに接続して映像を表示するためのコード
参考:(https://qiita.com/reiya_prog/items/b52be9adf7a82a89eae0 )に追加した部分です。

試したこと

変換前の画像データを格納するsrcMatが空ではないのかと仮定して、画像データを読み込むためのメソッドであるCv2.ImDecodeを

67行目
Cv2.ImDecode(picture_data.ToArray(), ImreadModes.Color);　
に第三引数としてsrcMatを追加して
Cv2.ImDecode(picture_data.ToArray(), ImreadModes.Color, srcMat);
と修正しましたが

以下のようにエラーが出ました。

No overload for method 'ImDecode' takes 3 arguments

補足情報（FW/ツールのバージョンなど）

OpenCV plus Unity　Unity2021.3.11f1

Answer 1

OpenCVの基礎的な部分が理解できていなかったため、それらについて勉強することで、結果として解決できました。