###やりたいこと
Webカメラを起動して動画を取得して,リアルタイムで取得した動画を加工(2値化)したい.
###分からないこと
ローカルファイルの画像を読み込んで画像処理をすることはできますが,それが,いざWebカメラから取得した動画を毎秒画像処理することができません.
特に,毎秒ごとにMatの生成,textureの生成を行うコードをどの位置に記述すればいいか分からないです・
###Webカメラを起動して動画をリアルタイムで加工するプログラム(自分で書いたversion)
C#
1using System.Collections; 2using System.Collections.Generic; 3using UnityEngine; 4using OpenCVForUnity; 5using OpenCVForUnity.UnityUtils; 6using OpenCVForUnity.ImgprocModule; 7using OpenCVForUnity.CoreModule; 8using UnityEngine.UI; 9 10 11public class findcontuor : MonoBehaviour 12{ 13 WebCamTexture webCamTexture; 14 15 16 17 //[SerializeField] 18 //public GameObject score_object = null; // Textオブジェクト 19 20 public int Width = 640; 21 public int Height = 480; 22 public int FPS = 30; 23 24 25 //取得したい青色 26 private readonly static Scalar blue_lower = new Scalar(110, 50, 50);// 27 private readonly static Scalar blue_upper = new Scalar(130, 255, 255);// 28 29 Mat imgMat; 30 Mat imgMat2; 31 Mat hsvMat; 32 Mat blurMat; 33 Mat binMat; 34 Mat Hierarchy; 35 36 // もしWebCamでやりたかったらStart()でWebCamを起動します。 37 // 画像を読み込む場合は同じくStart()でテクスチャに画像を読み込ませれば以下同じように動きます。 38 void Start() 39 { 40 //cube = Instantiate(cube); 41 WebCamDevice[] devices = WebCamTexture.devices; 42 webCamTexture = new WebCamTexture(devices[0].name, Width, Height, FPS); 43 GetComponent<Renderer>().material.mainTexture = webCamTexture; 44 webCamTexture.Play(); 45 } 46 47 48 void Update() 49 { 50 //Matを生成する 51 imgMat = new Mat(webCamTexture.height, webCamTexture.width, CvType.CV_8UC3);//update中に記述すると重い 52 53 //Texture→Mat 54 Utils.webCamTextureToMat(webCamTexture, imgMat); 55 56 57 //ガウシアンフィルターによる平滑化 58 imgMat2 = new Mat(webCamTexture.height, webCamTexture.width, CvType.CV_8UC3);//update中に記述すると重い 59 Imgproc.GaussianBlur(imgMat, imgMat2, new Size(5, 5), 0); 60 61 // BGRからHSVに変換 62 hsvMat = new Mat(webCamTexture.height, webCamTexture.width, CvType.CV_8UC3);//update中に記述すると重い 63 Imgproc.cvtColor(imgMat2, hsvMat, Imgproc.COLOR_RGB2HSV); 64 65 //medianBlur化 66 blurMat = new Mat(webCamTexture.height, webCamTexture.width, CvType.CV_8UC3);//update中に記述すると重い 67 Imgproc.medianBlur(hsvMat, blurMat, 3); 68 69 // 画像の平坦化 70 //Imgproc.equalizeHist(blurMat, blurMat); 71 72 73 //2値化 74 binMat = new Mat(webCamTexture.height, webCamTexture.width, CvType.CV_8UC3);//update中に記述すると重い 75 Core.inRange(blurMat, blue_lower, blue_upper, binMat); 76 77 Texture2D texture_out = new Texture2D(imgMat.cols(), imgMat.rows(), TextureFormat.RGBA32, false);//update中に記述すると重い 78 Utils.matToTexture2D(imgMat, texture_out); 79 gameObject.GetComponent<Renderer>().material.mainTexture = texture_out; 80 81 82 } 83} 84
このプログラムでは,update関数の中でMatの生成やTextureの生成を行っていますが,毎秒それを行うとメモリを食いつぶしていしまって,かなり重くなってしまいます.Update関数の中に書かないで自分がやりたいことを実現する方法はないのでしょうか?
ちなみに,Webカメラを起動させて,動画を読み込んでいるサンプルコードはありますが,コードが長くて,どこの部分が何をしているかが分からないです.
こちらがそのサンプルコードです
あなたの回答
tips
プレビュー