画像の細い部分を分割する方法

Question

画像の編集をしているのですが、画像の細い部分を分割して欲しいのですが、どのようにすればできますか？
具体的には

このような画像を

のように分割、もしくは分割した輪郭を取得したいです。
分割した線を曲線に沿って分割されればベストです。
どのようにすれば分割できますか？

・・・追記・・・
元の画像で、画像から顔、目を特定して抽出するところまではできました。

Comments

[fana]

分割の基準がよくわかりません．
（示された例では画像中央上部だけが分割され，他の箇所は分割されていない．分割するかしないかをどうやって決める話ですか？）

[退会済みユーザー]

この手の処理は非常に難しいです。技術的な難しさもありますが「～をしたい」と思っている本人ですらどういうときにその処理を適用するか否か明確な基準を持つことが難しいためです。
ましてや質問に答える側は質問者の感覚レベルの認識も持てないのです。
質問が悪いと言うよりこの手の問題に共通する課題ですね･･･
複数例が挙がっていたり、細かい方針が提示されていれば答えようはあるかもしれませんが。
とりあえず輪郭追跡処理あたりから入ってみてはどうでしょう？

[Gonnnn]

最終面積が一番大きいところを取得する予定なので、一番分けて欲しいところを画像にしました。。。
画像は目を二値化したもので、黒目の部分だけ抽出したいです。
凹性があるところ？を分割すればいいのではと考えたのですが、白目の頂点のみを取得する方法がわからず分割するという形で質問させていただきました。

[fana]

> 黒目の部分だけ抽出したい
この手の処理は，視線検知系の話でよく行われるものだと思うので，それ系の文献などを当ってみてはどうでしょうか？

[退会済みユーザー]

完全に質問と異なる答えになりますが、仮に対象が黒目に限られるなら別のアプローチを検討した方が楽かもしれません。
そもそも今のだと黒目の上の目蓋も取っているっぽいですし、2値化する前の方が情報が多いですので...
黒目は例にすぎず、分割処理が欲しいのでしたら的外れですいません。

[Gonnnn]

私もそれは思いましたが、ネットで調べても瞳が完全に見えている状態のものが多く、瞳が欠けていても瞳を認識するというものがみつかりませんでした。。多少は瞳の範囲からずれていても大丈夫なので、二値化、瞳の範囲を取得、少し縮小すれば大まかな瞳の領域が取得できると考えこの形をとらせていただきました。
他の瞳の領域を取得できる方法があれば教えていただけるとありがたいです。

[fana]

欲しいのは　黒目or瞳（瞳孔）？
画像の程度次第ですが，黒目（あるいは瞳孔）の輪郭点をある程度取得できれば（それが結構難しいのですが…）楕円フィッティングでそれなりには頑張れるんじゃないかと思います．
昔これ系にちょっと携わった際には，上部の山なりカーブを見つけてそれを足掛かりに黒い部分の幅とかを見て睫毛らへんを捨てるみたいな方向の手法もあったような…（忘れた）

[退会済みユーザー]

その程度の雑さで良いのであればシンプルな方法だとOpeningでいっそ細い部分を全部消してしまっても良いかもしれません。
勿論精度は落ちます。
汎用かつ厳密にやろうとすると、もう論文読んで下さいレベルの話になるかもしれません。

[tiitoi]

最終的にやりたい事というのはどういうことなのでしょうか？
顔の画像から瞳の部分だけ抽出したのでしょうか？

[Gonnnn]

欲しいのは黒目の部分です。
黒目の輪郭が難しいですよね。。。
Openigでやってみたらそれっぽい範囲が取得できたので、Openingで進めたいと思います！

[fana]

（要求される処理結果精度や処理のロバスト性が謎ですね）

[tiitoi]

2値化だと画像の明るさとかに左右されるので、画像処理だけでなかなか綺麗に瞳の部分だけ抜き出すのは難しそうですね。
任意の画像に対して、精度よくやりたいなら、CNN 使ったほうが良さそうと思いました。

[Gonnnn]

CNNで学習させるという手もあるんですね！
しかし、私の開発環境で他のライブラリを追加する方法がわからず、kerasが入ってなさそうなので諦めます。。。追加する方法がわかればCNNを追加して精度を上げて目の認識をやってみます！！

Answer 1

荒業ですが…

import cv2
import numpy as np

img = cv2.imread('temp.jpeg',0)
# img = 255-img 
img_blur = cv2.medianBlur(img,11)

cv2.imshow('img_blur',img_blur)

cimg = cv2.cvtColor(img,cv2.COLOR_GRAY2BGR)

circles = cv2.HoughCircles(img_blur,cv2.HOUGH_GRADIENT,1,2,param1=10,param2=8,minRadius=20,maxRadius=40)

if circles is not None:
    for i in circles[0,:]:
        # print(img[int(i[1]),int(i[0])])
        if 0 < img_blur[int(i[1]),int(i[0])]:
            # draw the outer circle
            cv2.circle(cimg,(i[0],i[1]),i[2],(0,255,0),2)
            # draw the center of the circle
            cv2.circle(cimg,(i[0],i[1]),2,(0,0,255),3)
        # else:
        #     cv2.circle(cimg,(i[0],i[1]),i[2],(0,64,0),1)
        #     cv2.circle(cimg,(i[0],i[1]),2,(0,0,64),1)
            

    cv2.imshow('detected circles',cimg)
else:
    print("No circles detected.")

cv2.waitKey(0)
cv2.destroyAllWindows()

以下、初回投稿部分

最終面積が一番大きいところを取得する予定
画像は目を二値化したもので、黒目の部分だけ抽出したいです。

二値化は便利な処理ですが、何人か指摘されていますように、恐らくここまで削減された情報から黒目らしきものを抽出するのは困難です。

黒目は~~（目玉のオヤジでもない限り）~~瞼や目の下側が欠けますので、ある程度ロバスト性のある丸の検出が必要になります。

その関数がcv2.HoughCircles()です。

その前処理として、二値化を含めcv2.adaptiveThreshold()、cv2.Canny()、また、
cv2.Laplacian()のあたりが使えるかもしれません。

外国の方で何人か古いバージョンのOpenCVで挑戦されています。
ここ１
ここ２

どのパラメータが当たりかはやってみて試すしかないと思います。

Comments

[Gonnnn]

サンプルプログラムまでありがとうございます！！
画像は不特定のモノが入り、目の大きさ、黒目の位置などは物によって変わるのですが、このプログラムは動作しますか？
あとparam1、param2はどういうパラメーターなのでしょうか。。。

[退会済みユーザー]

> 画像は不特定のモノが入り、目の大きさ、黒目の位置などは物によって変わる
もし人の顔であれば、通常のhaar_likeの物体検出で右目左目の位置を抜き出せますので、それで対応できると思います。
黒目が上下左右どこを向いていたとしても、（直感的に、ですが）全体の六割くらいが見えていれば動くと思います。

>このプログラムは動作しますか？
日本人なら黒系の色で閾値を決めて二値化すればよいと思いますし、西洋の人もありえるのであれば、cannyをうまく使って色の依存度の低い丸の検出が必要になるかもしれません。

> param1、param2
線を検出する方法としてCannyという処理があります。輪郭や皺を際立たせる処理です。この時の「あー、これだけ差があれば線でしょう」の閾値がparam1、「円ぽいものが見つかったけれども、(関数内での)投票数がなぁ」の閾値がparam2です。投票の閾値を下げれば当選しやすく、つまり円でないものも円だと検出しやすくなりますので注意が必要です。

http://opencv.jp/opencv-2svn/cpp/feature_detection.html#cv-houghcircles

[Gonnnn]

早い対応ありがとうございます！
minRadius、maxRadiusだけ目の領域の大きさから値を入れればいいのですね。
試してみます！！

[Gonnnn]

やりたいことができました！！
ありがとうございます！