質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.50%

ファイルパス先の画像全てに、OpenCV(C++)で指定した部分のみ円形認識を行うには

受付中

回答 0

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 585

konkon9

score 6

 前提

UnityPlaneオブジェクトにXcodeで書いたC++のコードをNativePluginとして呼ぶ形で開発を行なっています。
運が良いことに先人の方々の資料を確認することでUnityからXcodeを呼び出すところまでは何とか漕ぎ着けることができたのですが、肝心のXcode側でのOpenCVの処理に関する資料が少なく、私自身も初心者であることも相まって少し書き換えればエラー(引数が正しくない)を吐かれる事を繰り返したため質問するに至りました。

参考資料:
http://nn-hokuson.hatenablog.com/entry/2017/05/12/201453
https://qiita.com/wakaba130/items/91ddc8c9d1cbf9ea8eda

上記の資料情報を切り貼りし、「部分的にモザイクをかけられるようになってから認識系のコードに書き換えていけば良いかな?」と、安直な事を考えていたのですがそれすらできず、この先のUnity上でのファイルパス指定やOpenCV上での円形認識すら危うくなってきたのでどうかお力添え戴けると助かります。

実現したい事

アンケート用紙を大量に扱う機会があり、画像認識を用いて効率的にExcelにデータを入れたいと考えており、対応しているプラットフォームが多いUnityを用いてOpenCVを呼び出し、指定した範囲の円形を認識して、Unity側に返しlist化したデータからCSVとしてエクスポートできる物を目指しています。

 該当のソースコード

Xcode側のコード

#include "Plugin.pch"
#include <opencv2/opencv.hpp>

void conv(unsigned char* arr, int w, int h)
{
    cv::Mat img(cv::Size(w, h), CV_8UC4, cv::Scalar(0, 0, 0));
    cv::Mat gray(cv::Size(w, h), CV_8UC1, cv::Scalar(0, 0, 0));

    // char* -> Mat
    int i = 0;
    for(int y = 0; y < img.rows; ++y){
        for(int x = 0; x < img.cols; ++x){
            for(int c = 0; c < img.channels(); ++c){
                img.data[ y * img.step + x * img.elemSize() + c ] = arr[i++];
            }
        }
    }

    //処理領域を設定
    cv::Rect roi(590, 324, 310, 300);

    //出力の初期化(入力画像を複製)
    cv::Mat dst_img = img.clone();

    //ROIの設定
    cv::Mat s_roi = img(roi);
    cv::Mat d_roi = dst_img(roi);  /* 出力側も同じ領域を指定 */

    //ROIの領域をぼかす
    cv::blur(img, img, cv::Size(100,100));  /* ROIを設定した画像で入出力を行う */
    //ぼかした領域をわかりやすくするために入力画像に矩形描画
    cv::rectangle(img,roi, cv::Scalar(0, 255, 0), 2);

    //img = s_roi;

    // RGBA -> GRAY
    cv::cvtColor(img, gray, CV_RGBA2GRAY);
    cv::cvtColor(gray, img, CV_GRAY2RGBA);

    // Mat -> char*
    i = 0;
    for(int y = 0; y < img.rows; ++y){
        for(int x = 0; x < img.cols; ++x){
            for(int c = 0; c < img.channels(); ++c){
                arr[i++] = img.data[ y * img.step + x * img.elemSize() + c ];
            }
        }
    }
}
extern "C" {
    void conv(unsigned char* arr, int w, int h);
}
using System;
using System.Runtime.InteropServices;
using UnityEngine;

public class TestPlugin : MonoBehaviour
{

    [DllImport("TestPlugin")]
    private static extern void conv(IntPtr img, int w, int h);

    private Color32[] pixels_;
    private GCHandle pixels_handle_;
    private IntPtr pixels_ptr_ = IntPtr.Zero;
    private Texture2D mainTexture;

    void Start()
    {

        // ピクセルデータを取り出す
        Texture2D mainTexture = (Texture2D)GetComponent<Renderer>().material.mainTexture;
        mainTexture.filterMode = FilterMode.Point;
        pixels_ = mainTexture.GetPixels32();
        pixels_handle_ = GCHandle.Alloc(pixels_, GCHandleType.Pinned);
        pixels_ptr_ = pixels_handle_.AddrOfPinnedObject();

        int w = mainTexture.width;
        int h = mainTexture.height;

        // Native Pluginを呼び出す
        conv(pixels_ptr_, w, h);

        // ピクセルデータからテクスチャを作る
        Texture2D change_texture = new Texture2D(w, h, TextureFormat.RGBA32, false);
        change_texture.filterMode = FilterMode.Point;
        change_texture.SetPixels32(pixels_);
        change_texture.Apply();

        GetComponent<Renderer>().material.mainTexture = change_texture;
    }
}

 試したこと

cv::blur(img, img, cv::Size(100,100)); 
cv::cvtColor(img, gray, CV_RGBA2GRAY);
cv::cvtColor(gray, img, CV_GRAY2RGBA);
上記3行の引数を触っていました。

 補足情報

バージョン
Unity : 2018.1.1f1
OpenCV : 3.4.3

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正の依頼

  • tiitoi

    2018/10/05 19:08

    具体的にどこで詰まっているのでしょうか?「エラーが出ている」「こういうことをやりたいけど、やり方がわからない」等

    キャンセル

  • Bongo

    2018/10/08 08:33

    Unity 2018.2.11f1、macOS 10.14、Xcode 10.0、OpenCV 3.4.3で試してみましたが、ご提示のコードでUnity・プラグイン間のデータのやりとりはできているようです。できあがったテクスチャは「全体がぼけてグレースケールになり、テクスチャ左下隅から右に590・上に324の位置を左下隅とする幅310・高さ300のグレーの枠線がある」といったものでした。このぼかし・グレースケール化の範囲を、コード中のコメントにあるように矩形内のみとしたい...ということでしょうか?

    キャンセル

まだ回答がついていません

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.50%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる