質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.64%

OpenCVのArucoマーカー検出プログラムでの例外スローについて

受付中

回答 0

投稿

  • 評価
  • クリップ 0
  • VIEW 1,886

MasatoOkada

score 11

OpenCVのArucoマーカーの検出プログラムを作成しています。
4K動画の画像を25分割してそれぞれの画像に対して検出を行うという処理です。
動画の特定のフレーム(今処理している動画では429フレーム目)を処理するときに、25個の画像のうちのランダムな場所で、delete_scalar.cppのなかで、ブレークポイントが発生しましたという例外がスローされて処理が止まります。おそらく、cv::aruco::detectMarkersで例外が発生しています。
動画の処理開始位置が1フレーム目からでも、420フレーム目からでも、429フレームで例外がスローされます。
また、シングルスレッドとマルチスレッドを切り替えられるプログラムになっていますが、どちらでも同じ例外が発生します。
例外設定の”スローされたときに中断”についてはすべての項目についてチェックを外しています。
例外をなくしたり、例外が発生しても中断しないようにするにはどうすればよろしいでしょうか。
よろしくお願いします。
イメージ説明

#include "stdafx.h"

#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/aruco.hpp>
#include <iostream>
#include <fstream>
#include <mutex>
#include <thread>

std::vector<std::vector<int>> result;
std::vector<int> test;
std::vector<std::vector<int>>test2;

std::mutex mtx;


void recognition(int xn, int yn, cv::Mat SplitImage) {
    try {
        int start_x = xn * 720;
        int start_y = yn * 405;
        cv::Mat SplitImage2;
        cv::resize(SplitImage, SplitImage2, cv::Size(1920, 1080), CV_INTER_CUBIC);

        cv::Ptr<cv::aruco::Dictionary>  dictionary = cv::aruco::getPredefinedDictionary(cv::aruco::DICT_4X4_250);


        //cv::imwrite("C://dev/temp/"+std::to_string(yn)+"_"+ std::to_string(xn)+".jpg", SplitImage2);

        std::vector<int> markerIds;
        std::vector<std::vector<cv::Point2f>> markerCorners, rejectedCandidates;
        cv::Ptr<cv::aruco::DetectorParameters> parameters = cv::aruco::DetectorParameters::create();
        //parameters->minMarkerPerimeterRate = 0.01;
        //parameters->cornerRefinementMethod = cv::aruco::CornerRefineMethod::CORNER_REFINE_CONTOUR;
        //parameters->perspectiveRemoveIgnoredMarginPerCell = 0.05;
        //parameters->maxErroneousBitsInBorderRate = 0.9;
        //parameters->errorCorrectionRate = 0.6;
        //parameters->markerBorderBits =1;

        //parameters->minDistanceToBorder = 0;
        parameters->minCornerDistanceRate = 0.2;

        cv::aruco::detectMarkers(SplitImage2, dictionary, markerCorners, markerIds, parameters, rejectedCandidates);


        if (markerIds.size() > 0) {
            for (int mn = 0; mn < markerIds.size(); mn++) {
                int id = markerIds.at(mn);


                int x1 = markerCorners.at(mn).at(0).x;
                int y1 = markerCorners.at(mn).at(0).y;

                int x2 = markerCorners.at(mn).at(2).x;
                int y2 = markerCorners.at(mn).at(2).y;
                int leftx;
                int lefty;
                if (x1 < x2) {
                    leftx = x1;
                }
                else {
                    leftx = x2;
                }
                if (y1 < y2) {
                    lefty = y2;
                }
                else {
                    lefty = y1;
                }
                std::cout << "\r\n" << mn << ":" << markerIds.at(mn) <<",x:"<< xn <<",y:"<< yn << "\r\n";

                mtx.lock();
                test.push_back(yn * 100 + xn);
                test2.push_back({ xn,yn });
                int x = leftx / 2 + start_x;
                int y = lefty / 2 + start_y;
                result.push_back({ id, x,y});

                mtx.unlock();
            }


        }
        SplitImage.release();
        SplitImage2.release();

    }
    catch (...) {
        std::cout << "Exception!\r\n";
    }
}

int main()
{
    int camera = 3;
    cv::VideoWriter writer("C:\\dev\\output" + std::to_string(camera) + ".mp4", cv::VideoWriter::fourcc('M', 'P', '4', '2'), 3.0, cv::Size(1920, 1080), true);
    std::string str_filename = "C:\\dev\\output_text" + std::to_string(camera) + ".txt";
    const char *fileName = str_filename.c_str();
    std::ofstream ofs(fileName);
    if (!ofs)
    {
        std::cout << "ファイルが開けませんでした。" << std::endl;
        std::cin.get();
        return 0;
    }

    cv::VideoCapture cap("C:\\Users\\okada\\Desktop\\temp\\total_test" + std::to_string(camera) + ".avi");
    int max_frame = cap.get(CV_CAP_PROP_FRAME_COUNT); //フレーム数


    cv::Mat image, imageCopy;
    //cv::Mat before= cv::Mat::ones(100, 160, CV_8U) * 100;;
    for (int i = 0; i < max_frame; i++) {

        try {
            if (i > 100000) {

                continue;
            }
            if (i < 420) {
                cap >> image; //1フレーム分取り出してimgに保持させる
                continue;
            }

            std::cout << "read image\r\n";

            cap >> image; //1フレーム分取り出してimgに保持させる


            std::cout << "copy image\r\n";
            image.copyTo(imageCopy);

            std::cout << i << "_size:" << result.size() << "\r\n";
            if (result.size() > 0) {
                for (int rn = 0; rn < result.size(); rn++) {
                    std::vector<int> tempvector = result.at(rn);
                    if (!tempvector.empty()) {
                        int id = tempvector.at(0);
                        int x = tempvector.at(1);
                        int y = tempvector.at(2);

                        std::cout << id << "," << x << "," << y << "\r\n";

                    }
                }
            }
            result.clear();
            test.clear();
            test2.clear();

            std::cout << "create thread vector\r\n";
            std::vector<std::thread> thread_vec(25);

            std::cout << "start thread\r\n";
            for (int yn = 0; yn < 5; yn++) {
                for (int xn = 0; xn < 5; xn++) {

                    std::cout << yn<<"_"<<xn<<"\r\n";
                    int start_x = xn * 720;
                    int start_y = yn * 405;
                    cv::Mat tempMat = imageCopy(cv::Range(start_y, start_y + 540), cv::Range(start_x, start_x + 960));
                    //thread_vec.at(yn * 5 + xn) = std::thread(recognition, xn, yn, tempMat);

                    recognition(xn, yn, tempMat);
                    tempMat.release();
                }
            }

            std::cout << "wait thread\r\n";
            for (int tn = 0; tn < 25; tn++) {

                //thread_vec.at(tn).join();
            }

            std::cout << "check result\r\n";
            if (result.size() > 0) {
                int *array = new int(result.size());
                std::cout << "1 fill\r\n";
                for (int rn = 0; rn < result.size() ; rn++) {
                    array[rn] = 1;
                }
                std::cout << "same id check\r\n";
                if (result.size() > 1) {
                    for (int rn = 0; rn < result.size() - 1; rn++) {
                        if (result.at(rn).empty()) {
                            break;
                        }
                        std::vector<int> tempvector = result.at(rn);
                        int id = tempvector.at(0);
                        for (int rn2 = rn + 1; rn2 < result.size(); rn2++) {
                            std::vector<int> tempvector2 = result.at(rn2);
                            if (tempvector2.empty()) {
                                break;
                            }
                            int id2 = tempvector2.at(0);
                            if (id == id2) {
                                array[rn2] = 0;
                                std::cout << "same id:"<<rn2<<","<<id2<<"\r\n";
                            }
                        }
                    }
                    for (int backn = result.size() - 1; backn >= 0; backn--) {
                        if (array[backn] == 0) {
                            result.erase(result.begin() + backn);
                        }
                    }
                }


                std::cout << "write id\r\n";
                for (int rn = 0; rn < result.size(); rn++) {
                    //break;
                    std::vector<int> tempvector = result.at(rn);
                    if (tempvector.empty()) {
                        break;
                    }
                    int id = tempvector.at(0);

                    int x = tempvector.at(1);
                    int y = tempvector.at(2);
                    cv::Point left(x, y);
                    std::cout << rn << "," << id << "," << x << "," << y << "\r\n";
                    if (id > 16) {
                        continue;
                    }
                    cv::putText(imageCopy, std::to_string(id), left, cv::FONT_HERSHEY_PLAIN, 6, cv::Scalar(0, 0, 255), 3, cv::LINE_AA);


                    ofs << camera << "," << i << "," << id << "," << x << "," << y << "\r\n";
                    tempvector.clear();
                }
            }


            std::cout << "resize\r\n";

            cv::resize(imageCopy, imageCopy, cv::Size(1920, 1080), CV_INTER_CUBIC);

            std::cout << "write\r\n";
            writer.write(imageCopy);
            cv::resize(imageCopy, imageCopy, cv::Size(1280, 720), CV_INTER_CUBIC);

//            std::cout << "show\r\n";
//            cv::imshow("Video", imageCopy);
//            cv::waitKey(1);
        }
        catch (...) {
            std::cout << "catch exception:" << i << std::endl;
        }
    }
    std::cout << "video output processing...\r\n";
    return 0;
}
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

まだ回答がついていません

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.64%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る