openCVを用いた画像処理アプリの作成

Question

前提・実現したいこと

openCVを使って矩形検出するiPhone用アプリを作りたいです。

発生している問題・エラーメッセージ

矩形検出の部分で二値化して輪郭検出することができたのですが、参考にしているサイトのように
元画像に赤枠で検出することが出来ません
真っ黒に白で矩形検出した画像になってしまいます

該当のソースコード

#import "opencv2/opencv.hpp"
#import "opencv2/highgui/ios.h"
#import "openCVer.h"

@implementation openCVer

-(UIImage *)toGray:(UIImage *)input_img {
    // 変換用Matの宣言
    cv::Mat gray;
    // input_imageをcv::Mat型へ変換
    UIImageToMat(input_img, gray); //---②
    
    cv::cvtColor(gray, gray, CV_BGR2GRAY); //---③
    cv::threshold(gray, gray, 0, 255, CV_THRESH_BINARY | CV_THRESH_OTSU);
    
    // cv::threshold(gray, gray, 200, 255, CV_THRESH_TOZERO_INV );
    // cv::bitwise_not(gray, gray); // 白黒の反転
    cv::threshold(gray, gray, 0, 255, CV_THRESH_BINARY | CV_THRESH_OTSU);
    
    std::vector<std::vector<cv::Point>> contours;
    std::vector<cv::Vec4i> hierarchy;
    cv::findContours(gray, contours, hierarchy, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_TC89_L1);
    
    int max_level = 0;
    for(int i = 0; i < contours.size(); i++){
        cv::drawContours(gray, contours, i, cv::Scalar(255, 0, 0, 255), 3, CV_AA, hierarchy, max_level);
    }
    
    max_level = 0;
    
    for(int i = 0; i < contours.size(); i++) {
        // ある程度の面積が有るものだけに絞る
        double a = contourArea(contours[i],false);
        if(a > 15000) {
            //輪郭を直線近似する
            std::vector<cv::Point> approx;
            cv::approxPolyDP(cv::Mat(contours[i]), approx, 0.01 * cv::arcLength(contours[i], true), true);
            // 矩形のみ取得
            if (approx.size() == 4) {
                cv::drawContours(gray, contours, i, cv::Scalar(255, 0, 0, 255), 3, CV_AA, hierarchy, max_level);
            }
        }
    }
    
    cv::Point2f src[4]; // 変換元
    cv::Point2f dst[4]; // 変換先
    cv::Mat perspective_matrix = cv::getPerspectiveTransform(src, dst);
    cv::warpPerspective(gray, gray, perspective_matrix, gray.size(), cv::INTER_LINEAR);
    
    input_img = MatToUIImage(gray); //---④
    
    return input_img; //---⑤
}

@end

###実行結果
cv::Point2f src[4]; // 変換元
cv::Point2f dst[4]; // 変換先
cv::Mat perspective_matrix = cv::getPerspectiveTransform(src, dst);
cv::warpPerspective(gray, gray, perspective_matrix, gray.size(), cv::INTER_LINEAR);

以外の実行結果です
上の4行まで実行すると多分この真ん中の黒い矩形を検出してると思うのですが、
ただの真っ黒い画像になってしまいます。

試したこと

・https://dev.classmethod.jp/smartphone/avfoundation-opencv-findcontours/
・https://dev.classmethod.jp/smartphone/ios-avfoundationavcapturevideodataoutput-opencv/
・https://qiita.com/tomoyuki_HAYAKAWA/items/1e214b21725f45269807

上記サイトを参考に作りました。

補足情報（FW/ツールのバージョンなど）

swift4、opencv2.x、Xcode9

Comments

[Ryupe]

> 元画像に赤枠で検出することが出来ません
> 真っ黒に白で矩形検出した画像になってしまいます

現状だとどのような結果になりますか？
画像を添えていただけませんか？

Answer 1

希望している実行結果はカラー画像に赤い矩形でということですよね？
そうでしたら、矩形描画するコードのところで描画先をgrayを指定しているのが原因です。
grayは二値化された画像なので白か黒かしか情報を持っていません。

直すとしたら描画先をカラー画像であるinput_imgに指定することでしょうかね。
その前にcolor_imgを作成する必要があります。

cv::Mat color_img;

描画コードはカラー画像を指定する。

cv::drawContours(color_img, contours, i, cv::Scalar(255, 0, 0, 255), 3, CV_AA, hierarchy, max_level);

swiftは書いたことが無いので足りないところとかあるかもしれませんが考え方はこの通りだと思います。

Comments

[SKMT]

回答ありがとうございます。分かりやすい説明ありがとうございます。思った通りに表示することが出来ました。あとアプリはswiftなのですが、openCVの部分はobjective-C?だと思うので言われた通りに直すことで上手くいきました！ありがとうございます！