OpenCV for UnityでwebCamTextureToMatできない

Question

OpenCV for Unityを使ってウェブカメラの画像をいじろうとしているのですが、WebCamTextureをMatに変換しようとするときに出るエラーが解決できずにいます。

利用環境

Unity 5.3
OpenCV for Unity 2.0.1 (OpenCV 3.1.0)

---

void Start() {
  webCamTexture = new WebCamTexutre(WebCamTexture.devices[0].name, width, height);
  webCamTexture.Play();

  rgbaMat = new Mat(webCamTexture.height, webCamTexture.width, CvType.CV_8UC4);
  colors = new Color32[webCamTexture.width * webCamTexture.height];
  texture = new Texture2D(webCamTexture.width, webCamTexture.height);

  GetComponent<Renderer> ().material.mainTexture = texture;
}

void Update() {
  Utils.webCamTextureToMat(webCamTexture, rgbaMat, colors); //ここでエラーが出る

  // 以下Mat処理
}

ここで下記のエラーが出て先に進めず困っています。

ArgumentException: The output Mat object has to be of the same size

どなたか原因や対処法ご存知でしたらご教示いただけると幸いです。

Answer 1

Unityのバグなのか何なのか定かではありませんが、WebCamTexture.didUpdateThisFrame == false の状態で WebCamTexture.widthとWebCamTexture.heightの値を取得しようとするとなぜか(16, 16)で出力されてしまうことが原因でした。その結果rgbaMatのsizeが(16, 16)になっていました。

実際のWebCamTexture.widthとWebCamTexture.heightの値は宣言時の値のままなので、rgbaMatとの間にサイズの違いが生じてしまっていたようです。

そのため、WebCamTexture.didUpdateThisFrame == trueになるまでrgbaMatの宣言を待ちつつ、Utils.webCamTextureToMat(webCamTexture, rgbaMat, colors);はrgbaMatが宣言されるまで実行しないよう、下記のような記述にしました。

参考：https://issuetracker.unity3d.com/issues/ios-webcamtexture-dot-width-slash-height-always-returns-16

void Start() {
  webCamTexture = new WebCamTexutre(WebCamTexture.devices[0].name, width, height);
  webCamTexture.Play();
  StartCoroutine (init ());
}

private IEnumerator init (){
  if(webCamTexture.width <= 16){ 
    while(!webCamTexture.didUpdateThisFrame){ 
      yield return new WaitForEndOfFrame(); 
    } 
    webCamTexture.Pause ();
    colors = webCamTexture.GetPixels32 ();
    webCamTexture.Stop ();

    yield return new WaitForEndOfFrame ();
    webCamTexture.Play(); 

    // 宣言
    texture = new Texture2D(webCamTexture.width, webCamTexture.height);
    rgbaMat = new Mat(webCamTexture.height, webCamTexture.width, CvType.CV_8UC4);

    GetComponent<Renderer> ().material.mainTexture = texture;
  }
}

void Update() {
  if (webCamTexture.didUpdateThisFrame && rgbaMat != null) {
    Utils.webCamTextureToMat (webCamTexture, rgbaMat, colors);

    // 以下Mat処理
  }
}	

上手い書き方じゃない感がすごいので、スマートな書き方募集中。。

Comments

[toofu__]

ちなみに参考URLではiOSへのビルドに限って起こるバグと書かれていますが、自分の場合はそれ以外のプラットフォームにswitchしても生じたので、そこのところは謎です。

Answer 2

こんにちは。

ソースを拝見するかぎり正しいように思えます。
１点webCamTextureToMatの説明で気になる記述があります。

The output Mat object has to be of the same size as the input WebCamTexture'(width * height).

です。サイズをwidth * heightで指定するような記述になっています。
そこで、Matの数あるコンストラクタの内、Mat(Size _size, int _type);を用いて

rgbaMat = new Mat(webCamTexture.height * webCamTexture.width, CvType.CV_8UC4);

にてコンストラクトしてみると、もしかして通らないでしょうか？

Comments

[toofu__]

コメントありがとうございます。
アドバイスいただいた方法ではないのですが、試していて一応解決したので、自己解決欄に方法記載しました。
お知恵頂きありがとうございました。