質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.92%

opencv.js (asm.js版)におけるconnectedComponentsWithStatsの結果を正しく取得できない

解決済

回答 2

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 1,539

ssmxgo

score 168

opencvのJavaScript版でラベリングを行おうとして基本的なところで躓いています。
当方jsもopencvも初心者でこちら(前回の質問)で画像のピックアップを模索していましたが、躓き部分が質問のレベルに達っせず、新規質問として改めさせていただきます。

 前提

PythonからのJavaScriptへのビルド?は成功せず、githubを調べたところ、asm.js版のopencv.jsが公開されていて、そちらを利用したところopencv.jsが機能を始めたので良しとしました。(探してもnode.js版とasm.js版、もしくはver3.xより古いものしかない)
https://github.com/huningxin/opencv.js/tree/master/build/asm.js/opencv.js
こちらを拝借。
asm.jsは、対応環境でなければjavaScriptのサブセットとして動くということなので、問題は無いと思ってます

 テスト環境と実際のプログラム

テストしてる環境はこちらです

以下要約

  <script src="https://cdn.rawgit.com/ssmxgo/opencv.js/ff19899a/build/asm.js/opencv.js"  type="text/javascript"></script>
  // 画像の読み込み
  let mat = cv.imread(imgElement);
  // 変換先(処理をかけた画像)の定義
  var dst_gray = new cv.Mat();
  var dst_binary = new cv.Mat();
  var label = new cv.Mat();    //ラベル画像(CV_32SC1 or CV_16UC1)
  var stats = new cv.Mat();    //バウンディングボックスを形成する値と面積値
  var centroids = new cv.Mat();    //重心(x,y)(CV_64FC1)


  // グレースケール変換
  cv.cvtColor(mat, dst_gray, cv.COLOR_RGBA2GRAY, 0); 
  //二値化
  cv.threshold(dst_gray, dst_binary, 0, 255, cv.THRESH_BINARY_INV | cv.THRESH_OTSU);

  // ラベリング処理
  cv.connectedComponentsWithStats(dst_binary, label, stats, centroids, 8, cv.CV_32S);  

  console.table(label);
  console.table(stats);

 成功したこと

画像をopencvによるMat形式にセット…①
グレイスケール化(モノクロ化)
2値化(閾値を基準に白と黒の2色化)…②
です。
①…イメージ説明
②…イメージ説明

 できないこと

本題ですが、次にラベリングを行い画像の要素の取得?、その後に領域検索?みたいなことをする予定なのですが(素人でしてやりながらの理解になります)、その前提としての

connectedComponentsWithStats

がうまく値を取得できていないようです(できているかもしれませんが解析する力がありません)

上がlabel,下がstatus をconsole.talbeで出力したものですがわけわかりません(汗)
配列でそれぞれの画像のプロバティが戻ってくるようなイメージなのですが…(そもそもその認識が間違ってるかもしれませんが)
イメージ説明
※ちなみにFirefoxを使ってますが、chromeだと若干レスポンスが違うように思います

 ひっかかり

こちらのページを参照していますが、Pythonはよくわからないながら

    int nLab = cv::connectedComponentsWithStats(src, LabelImg, stats, centroids);

    // ラベリング結果の描画色を決定
    std::vector<cv::Vec3b> colors(nLab);
    colors[0] = cv::Vec3b(0, 0, 0);
    for (int i = 1; i < nLab; ++i) {
        colors[i] = cv::Vec3b((rand() & 255), (rand() & 255), (rand() & 255));
    }

    // ラベリング結果の描画
    cv::Mat Dst(src.size(), CV_8UC3);
    for (int i = 0; i < Dst.rows; ++i) {
        int *lb = LabelImg.ptr<int>(i);
        cv::Vec3b *pix = Dst.ptr<cv::Vec3b>(i);
        for (int j = 0; j < Dst.cols; ++j) {
            pix[j] = colors[lb[j]];
        }
    }


ラベリング結果の描画色を決定 というところはさっぱりわからないのですが、その下のラベリング結果の描画では、
LabelImg.ptr<int>(i)
みたいな表現が出てきます。
推測ですが、LabelImg.ptr(i)をforで回している考えると、LabelImg.ptrは配列であるべきなのかな?と思ったりするわけですが、undefinedが返されてます。
つまりそもそも connectedComponentsWithStats の設定が失敗しているのかな?と。

あと、付随しますが

  var label = new cv.Mat();    //ラベル画像(CV_32SC1 or CV_16UC1)
  var stats = new cv.Mat();    //バウンディングボックスを形成する値と面積値
  var centroids = new cv.Mat();    //重心(x,y)(CV_64FC1)


とコメントにありますが、いずれもデータ・タイプを設定していないところに問題があるのか?。そもそも設定の仕方もわからないですが。


結果的に、こちらのページで紹介されているようなステップにつなげる予定です。

こちらはこちらでpythonさっぱりでやろうとしてることはなんとなくわかりつつも、コードが解析できませんが、それは混沌とさせてしまうため、ここでは割愛いたします

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • oikashinoa

    2018/08/03 09:34

    テストで使っている画像もアップした方がいいと思います。あと、opencvでラベリングする時、白黒反転させていたページを見た気がします。(白を物体として認識しようとする?)公開できない入力画像なら差支えのないものでテストして結果が一緒ならそれをここにアップすると良いですよ。

    キャンセル

  • ssmxgo

    2018/08/03 09:47 編集

    ありがとうございます!!
    このあと直ぐに画像とログ?画面を貼り付けます

    キャンセル

回答 2

checkベストアンサー

+1

推測で書きます。あと、参考にされているソースは多分c++ですよ。

    int nLab = cv::connectedComponentsWithStats(src, LabelImg, stats, centroids);

    // ラベリング結果の描画色を決定
    std::vector<cv::Vec3b> colors(nLab);
    colors[0] = cv::Vec3b(0, 0, 0);
    for (int i = 1; i < nLab; ++i) {
        colors[i] = cv::Vec3b((rand() & 255), (rand() & 255), (rand() & 255));
    }


nLabにラベリングした結果の個数が入る
cv::Vec3b(0, 0, 0)はRGB指定で黒
colors[i]にランダムで適当に色を指定していく(ラベリング数分設定)

OpenCV.js TESTv2ならchromeで動いたので動かしてみました。

  // ラベリング処理
  let nLab =cv.connectedComponentsWithStats(gray,label, stats, centroids, 8, cv.CV_32S)
  console.log(nLab);


①の画像使って nLab > 8 となりましたので、多分あっている。

  // ラベリング処理
  let nLab =cv.connectedComponentsWithStats(gray,label, stats, centroids, 8, cv.CV_32S)
    console.log(nLab);
    console.log(gray);
    console.log(label);
    console.log(stats);
    console.log(centroids);


…grayとかの値を見たけどよく分かりません。今日はねます。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/08/06 04:24

    おおおおおお、これは!
    ありがとうございます
    確認してみます


    補足
    先の質問でPythonで記述してみて、この参照はPythonじゃ無いと、わかりました

    一難去ってまた一難。共有サーバーにopencvを入れることに困難を期す、です

    キャンセル

  • 2018/08/10 12:16

    遅くなりました
    ちゃんと8個かえってきてますが、それ以外は謎
    もしかしたら、JS版のバグなんでしょうかね…
    ちょっとお手上げでした
    ありがとうございました

    キャンセル

  • 2018/08/10 12:31

    バグの可能性は低いと思います(opencvを機械的にコンバートしたのがopencv.jsだから)

    使い方というか書き方の問題かな。引数の渡し方とか。

    jsfiddle消さないでくださいね。しばらく試してみます。

    キャンセル

  • 2018/08/10 12:42

    あ、もうぜひぜひ
    わたしではハードルが高かったので泣く泣くPythonを探っています。
    でも、可能であればJSでも使えるようになりたいばかりか、これって情報が少なすぎるのでとても有益な情報ですね。しかもasm.jsで実現してるとなれば今後の期待大ですね

    キャンセル

+1

opencv.js tutorials で検索すると公式のサンプル集がありました。

これで慣れてから作ると良さそうです

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/08/10 14:34

    なるほど!その発想なかったですね
    Pythonばかり調べてました

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.92%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る