ファイルパス先の画像全てに、OpenCV(C++)で指定した部分のみ円形認識を行うには

前提

UnityのPlaneオブジェクトにXcodeで書いたC++のコードをNativePluginとして呼ぶ形で開発を行なっています。
運が良いことに先人の方々の資料を確認することでUnityからXcodeを呼び出すところまでは何とか漕ぎ着けることができたのですが、肝心のXcode側でのOpenCVの処理に関する資料が少なく、私自身も初心者であることも相まって少し書き換えればエラー(引数が正しくない)を吐かれる事を繰り返したため質問するに至りました。

参考資料:
http://nn-hokuson.hatenablog.com/entry/2017/05/12/201453
https://qiita.com/wakaba130/items/91ddc8c9d1cbf9ea8eda

上記の資料情報を切り貼りし、「部分的にモザイクをかけられるようになってから認識系のコードに書き換えていけば良いかな?」と、安直な事を考えていたのですがそれすらできず、この先のUnity上でのファイルパス指定やOpenCV上での円形認識すら危うくなってきたのでどうかお力添え戴けると助かります。

###実現したい事
アンケート用紙を大量に扱う機会があり、画像認識を用いて効率的にExcelにデータを入れたいと考えており、対応しているプラットフォームが多いUnityを用いてOpenCVを呼び出し、指定した範囲の円形を認識して、Unity側に返しlist化したデータからCSVとしてエクスポートできる物を目指しています。

該当のソースコード

Xcode側のコード

cpp
1#include "Plugin.pch"
2#include <opencv2/opencv.hpp>
3
4void conv(unsigned char* arr, int w, int h)
5{
6    cv::Mat img(cv::Size(w, h), CV_8UC4, cv::Scalar(0, 0, 0));
7    cv::Mat gray(cv::Size(w, h), CV_8UC1, cv::Scalar(0, 0, 0));
8    
9    // char* -> Mat
10    int i = 0;
11    for(int y = 0; y < img.rows; ++y){
12        for(int x = 0; x < img.cols; ++x){
13            for(int c = 0; c < img.channels(); ++c){
14                img.data[ y * img.step + x * img.elemSize() + c ] = arr[i++];
15            }
16        }
17    }
18    
19    //処理領域を設定
20    cv::Rect roi(590, 324, 310, 300);
21
22    //出力の初期化(入力画像を複製)
23    cv::Mat dst_img = img.clone();
24    
25    //ROIの設定
26    cv::Mat s_roi = img(roi);
27    cv::Mat d_roi = dst_img(roi);  /* 出力側も同じ領域を指定 */
28    
29    //ROIの領域をぼかす
30    cv::blur(img, img, cv::Size(100,100));  /* ROIを設定した画像で入出力を行う */
31    //ぼかした領域をわかりやすくするために入力画像に矩形描画
32    cv::rectangle(img,roi, cv::Scalar(0, 255, 0), 2);
33    
34    //img = s_roi;
35    
36    // RGBA -> GRAY
37    cv::cvtColor(img, gray, CV_RGBA2GRAY);
38    cv::cvtColor(gray, img, CV_GRAY2RGBA);
39    
40    // Mat -> char*
41    i = 0;
42    for(int y = 0; y < img.rows; ++y){
43        for(int x = 0; x < img.cols; ++x){
44            for(int c = 0; c < img.channels(); ++c){
45                arr[i++] = img.data[ y * img.step + x * img.elemSize() + c ];
46            }
47        }
48    }
49}

pch
1extern "C" {
2    void conv(unsigned char* arr, int w, int h);
3}

c#
1using System;
2using System.Runtime.InteropServices;
3using UnityEngine;
4
5public class TestPlugin : MonoBehaviour
6{
7
8    [DllImport("TestPlugin")]
9    private static extern void conv(IntPtr img, int w, int h);
10
11    private Color32[] pixels_;
12    private GCHandle pixels_handle_;
13    private IntPtr pixels_ptr_ = IntPtr.Zero;
14    private Texture2D mainTexture;
15
16    void Start()
17    {
18
19        // ピクセルデータを取り出す
20        Texture2D mainTexture = (Texture2D)GetComponent<Renderer>().material.mainTexture;
21        mainTexture.filterMode = FilterMode.Point;
22        pixels_ = mainTexture.GetPixels32();
23        pixels_handle_ = GCHandle.Alloc(pixels_, GCHandleType.Pinned);
24        pixels_ptr_ = pixels_handle_.AddrOfPinnedObject();
25
26        int w = mainTexture.width;
27        int h = mainTexture.height;
28
29        // Native Pluginを呼び出す
30        conv(pixels_ptr_, w, h);
31
32        // ピクセルデータからテクスチャを作る
33        Texture2D change_texture = new Texture2D(w, h, TextureFormat.RGBA32, false);
34        change_texture.filterMode = FilterMode.Point;
35        change_texture.SetPixels32(pixels_);
36        change_texture.Apply();
37
38        GetComponent<Renderer>().material.mainTexture = change_texture;
39    }
40}

試したこと

cv::blur(img, img, cv::Size(100,100)); 
cv::cvtColor(img, gray, CV_RGBA2GRAY);
cv::cvtColor(gray, img, CV_GRAY2RGBA);

上記３行の引数を触っていました。

補足情報

バージョン
Unity : 2018.1.1f1
OpenCV : 3.4.3

tiitoi

2018/10/05 10:08

具体的にどこで詰まっているのでしょうか？「エラーが出ている」「こういうことをやりたいけど、やり方がわからない」等

Bongo

2018/10/07 23:33

Unity 2018.2.11f1、macOS 10.14、Xcode 10.0、OpenCV 3.4.3で試してみましたが、ご提示のコードでUnity・プラグイン間のデータのやりとりはできているようです。できあがったテクスチャは「全体がぼけてグレースケールになり、テクスチャ左下隅から右に590・上に324の位置を左下隅とする幅310・高さ300のグレーの枠線がある」といったものでした。このぼかし・グレースケール化の範囲を、コード中のコメントにあるように矩形内のみとしたい...ということでしょうか?