端末のカメラが撮影している動画を画像処理して画面上に映し出したい

Question

やろうとしていること

Google ARcoreとOpenCVを利用してandroid端末でカメラを起動させ,リアルタイムでカメラが撮影している動画データをOpenCVに渡してOpenCV側で画像処理を行った画像データを画面上に映し出したいです.

できていること

android端末のカメラが取得した画像データを画面上に映し出す.

できていないこと

android端末のカメラが取得した画像データをOpenCVに流して画像処理(例えば,2値化)を行う.

わからないこと

以下のソースコードで試してみたが,アプリを実行した際にアプリがすぐ落ちてしまいます.
原因はおそらく,update関数内でMatの生成をしていることが処理を重くしてアプリが落ちる原因だと考えています.
しかし,update関数の中以外で,どの箇所でMatの生成を行えばリアルタイムで動画を処理できるのでしょうか...

画像処理が分からないわけではなく,現状のコードではなぜアプリが落ちてしまうのか,その改善方法が分からないです.

ソースコード

using System;
using UnityEngine;

//GoogleARcore
using GoogleARCore;
using GoogleARCore.Examples.ComputerVision;

//OpenCVForUnity
using OpenCVForUnity;
using OpenCVForUnity.UnityUtils;
using OpenCVForUnity.ImgprocModule;
using OpenCVForUnity.CoreModule;



public class TextureRenderWrapper : MonoBehaviour
{

    //Textureの生成
    Texture2D new_tex;
    Texture2D out_tex;


    //Matの作成
    Mat imgMat;
    Mat imgMat2;
    Mat hsvMat;
    Mat blurMat;

    //--------------------------------------

    /// <summary>
    /// 取得するTextureのサイズの、カメラ画像に対する割合
    /// </summary>
    public float TextureSizeRatio = 1.0f;

    /// <summary>
    /// カメラ画像のデータ群
    /// </summary>
    private TextureReaderApi.ImageFormatType format;
    private int width;
    private int height;
    private IntPtr pixelBuffer;
    private int bufferSize = 0;

    /// <summary>
    /// カメラ画像取得用API
    /// </summary>
    private TextureReader TextureReader = null;


    /// <summary>
    /// カメラ画像のサイズに合わせてTextureReaderをセットしたかどうかのフラグ
    /// </summary>
    private bool setFrameSizeToTextureReader = false;
    public void Awake()
    {
        // // カメラ画像取得時に呼ばれるコールバック関数を定義
        // TextureReader = GetComponent<TextureReader>();
        // TextureReader.OnImageAvailableCallback += OnImageAvailableCallbackFunc;
    }

    private void OnImageAvailableCallbackFunc(TextureReaderApi.ImageFormatType format, int width, int height, IntPtr pixelBuffer, int bufferSize)
    {
        this.format = format;
        this.width = width;
        this.height = height;
        this.pixelBuffer = pixelBuffer;
        this.bufferSize = bufferSize;
    }

    
    void Start()
    {
        // AwakeからStartへ初期化を移動（TextureRender.csの初期化がStartのため）
        TextureReader = GetComponent<TextureReader>();
        TextureReader.OnImageAvailableCallback += OnImageAvailableCallbackFunc;

    }

    
    void Update()
    {


//----------------------------------------------------------------このあたりの処理をupdateに書いているため処理が重くなっていると考える.しかし,それ以外の方法が分からない.
　　　　 
        new_tex = new Texture2D(height, width, TextureFormat.RGBA32, false);
        new_tex = FrameTexture;//FrameTexture関数内で取得している_texをnew_texに代入する._texにandroid端末がリアルタイム撮影している画像データが入っている.


        //Matを生成する
        imgMat = new Mat(new_tex.height, new_tex.width, CvType.CV_8UC3);
        Utils.texture2DToMat(new_tex, imgMat);

        //ガウシアンフィルターによる平滑化
        imgMat2 = new Mat(new_tex.height, new_tex.width, CvType.CV_8UC3);
        Imgproc.GaussianBlur(imgMat, imgMat2, new Size(5, 5), 0);
          
        // BGRからHSVに変換
        hsvMat = new Mat(new_tex.height, new_tex.width, CvType.CV_8UC3);//CV_8UC3??
        Imgproc.cvtColor(imgMat2, hsvMat, Imgproc.COLOR_RGB2HSV);
          
        //medianBlur化
        blurMat = new Mat(new_tex.height, new_tex.width, CvType.CV_8UC3);//CV_8CU3??
        Imgproc.medianBlur(hsvMat, blurMat, 3);
          
        //画像の平坦化
        Imgproc.equalizeHist(blurMat, blurMat);
          
        out_tex = new Texture2D(imgMat.cols(), imgMat.rows(), TextureFormat.RGBA32, false);
        Utils.matToTexture2D(blurMat, out_tex);

        gameObject.GetComponent<Renderer>().material.mainTexture = out_tex;//画面上のcubeに貼り付ける

//--------------------------------------------------------------------------------------------




        // TextureReaderにカメラ画像のサイズをセットする。実行は一回だけ
        if (!setFrameSizeToTextureReader)
        {
            using (var image = Frame.CameraImage.AcquireCameraImageBytes())
            {
                if (!image.IsAvailable)
                {
                    return;
                }

                TextureReader.ImageWidth = (int)(image.Width * TextureSizeRatio);
                TextureReader.ImageHeight = (int)(image.Height * TextureSizeRatio);
                TextureReader.Apply();

                setFrameSizeToTextureReader = true;
            }
        }
    }

    public bool isRed(float x, float y)
    {
        // グレイスケールが選択されているとき
        if (format == TextureReaderApi.ImageFormatType.ImageFormatGrayscale)
        {
            return false;
        }

        // TextureReaderが取得した画像データのポインタからデータを取得
        byte[] data = new byte[bufferSize];
        System.Runtime.InteropServices.Marshal.Copy(pixelBuffer, data, 0, bufferSize);
        // 向きが270回転と反転しているので補正する
        byte[] correctedData = Rotate90AndFlip(data, width, height, format == TextureReaderApi.ImageFormatType.ImageFormatGrayscale);

        // サイズを合わせる
        int x_arg = (int)(x / 2.25);
        int y_arg = (int)(y / 3);
        int w_arg = height;
        int h_arg = width;
        int ch = 4;
        int th = 50;
        int idx = (y_arg * w_arg * ch) + (x_arg * ch);

        // 画素値を取得
        int r = correctedData[idx + 0];
        int g = correctedData[idx + 1];
        int b = correctedData[idx + 2];

        // 簡易的に red 検出
        int diff_rg = r - g;
        int diff_rb = r - b;
        if ((diff_rg > th) & (diff_rb > th))
        {
            return true;
        }
        return false;
    }

    public Texture2D FrameTexture
    {
        get
        {
            if (bufferSize != 0)
            {
                // TextureReaderが取得した画像データのポインタからデータを取得
                byte[] data = new byte[bufferSize];
                System.Runtime.InteropServices.Marshal.Copy(pixelBuffer, data, 0, bufferSize);
                // 向きが270回転と反転しているので補正する
                byte[] correctedData = Rotate90AndFlip(data, width, height, format == TextureReaderApi.ImageFormatType.ImageFormatGrayscale);
                // Texture2Dを作成 90度回転させているのでwidth/heightを入れ替える
                Texture2D _tex = new Texture2D(height, width, TextureFormat.RGBA32, false, false);
                _tex.LoadRawTextureData(correctedData);
                _tex.Apply();

                return _tex;
            }
            else
            {
                return null;
            }
        }
    }

    private byte[] Rotate90AndFlip(byte[] img, int width, int height, bool isGrayscale)
    {
        int srcChannels = isGrayscale ? 1 : 4;
        int dstChannels = 4; //出力は常にRGBA32にする
        byte[] newImg = new byte[width * height * dstChannels];

        for (int i = 0; i < height; i++)
        {
            for (int j = 0; j < width; j++)
            {
                //imgのindex
                int p = (i * width + j) * srcChannels;

                //newImgに対するindex. 90度回転と反転を入れている
                int np = ((width - j - 1) * height + (height - i - 1)) * dstChannels;

                // グレースケールでもRGBで扱えるようにしておく
                if (isGrayscale)
                {
                    newImg[np] = img[p]; // R
                    newImg[np + 1] = img[p]; // G
                    newImg[np + 2] = img[p]; // B
                    newImg[np + 3] = 255; // A
                }
                else
                {
                    for (int c = 0; c < dstChannels; c++)
                    {
                        newImg[np + c] = img[p + c];
                    }
                }
            }
        }

        return newImg;
    }
}

吐かれているエラー

• Adreno-GSL: <gsl_memory_alloc_pure:2270>: GSL MEM ERROR: kgsl_sharedmem_alloc ioctl failed. 　
• Unity : OPENGL NATIVE PLUG-IN ERROR: GL_OUT_OF_MEMORY: Not enough memory left to execute command
• Unity : (Filename: ./Runtime/GfxDevice/opengles/GfxDeviceGLES.cpp Line: 354) 　
• Unity : Could not allocate memory: System out of memory! 　
• Unity : Trying to allocate: 1228804B with 16 alignment. MemoryLabel: Texture 　
• Unity : Allocation happened at: Line:78 in 　Unity : Memory overview

Comments

[退会済みユーザー]

OpenCVとは言ってもいろいろな言語から使えますので、C#タグを明記した方が答えをもらえやすいです。

[Suchmos23]

分かりました。ありがとうございます！

[退会済みユーザー]

落ちるという曖昧な表現では、見た人は何も分かりません。
最低限どの行で強制終了しているか、例外が発生しているなら、例外内容をスタックトレース含めて載せてください。
どこで強制終了しているかがまだ分かっていないのであれば、ログ出力などを組み込んでどこまで正常に動いているか追跡してください。

[Suchmos23]

出力されているエラーは以下のとおりです.
　Adreno-GSL: <gsl_memory_alloc_pure:2270>: GSL MEM ERROR: kgsl_sharedmem_alloc ioctl failed.
　Unity : OPENGL NATIVE PLUG-IN ERROR: GL_OUT_OF_MEMORY: Not enough memory left to execute command
Unity : (Filename: ./Runtime/GfxDevice/opengles/GfxDeviceGLES.cpp Line: 354)

　Unity : Could not allocate memory: System out of memory!
　Unity : Trying to allocate: 1228804B with 16 alignment. MemoryLabel: Texture
　Unity : Allocation happened at: Line:78 in
　Unity : Memory overview

[退会済みユーザー]

この欄だと読みづらいので、質問文を編集してそちらに追記してください。
out of memoryと出てますが、メモリリークを起こしてメモリ食いつぶしてたりはしてないですか？

[Suchmos23]

エラーを質問文に追加しました.
メモリリークを起こしている可能性はあると思います.というのもソースコードのupdate関数内で本来はimgMatの作成を行わないためです.ですが,自分はそれ以外の方法がわからなくて困っています.
さらに,自分はメモリの解放を行っていません.具体的なメモリの解放方法もわからないです.

Answer 1

実際に試せないので推測での回答になりますが、out of memoryが出ているということは、大量にMatを生成することでメインメモリを食いつぶしているのではないかと推定します。

毎回Matを生成するのはコスト高そうなので、Startの辺りで生成してメンバ変数に保持しておくと良いかもしれません。カメラ停止のタイミングが拾えるのであれば、その時点でメンバ変数に保持しているMatをDisposeすれば良さそうな気がします。