前景領域抽出をより正確にしたい

Question

前提・実現したいこと

下の飛行機の画像の飛行機の部分だけを取得したい

発生している問題・エラーメッセージ

出力結果は，上の画像から
普通の前景領域抽出による結果，
輪郭検出による結果，
輪郭検出で作成した画像をマスクとして使用した結果
です．

一番目の画像と三番目の画像の結果も変わらず，どちらも画像の右側の空が残ってしまっている．

該当のソースコード

#エッジ検出画像を新たなマスクとして使う
#ライブラリをロード
import cv2
import numpy as np
from matplotlib import pyplot as plt


#画像をロード
image_bgr = cv2.imread('images/plane_256x256.jpg')
image_rgb = cv2.cvtColor(image_bgr, cv2.COLOR_BGR2RGB)

#矩形：始点x, 始点y, 幅, 高さ
rectangle = (0, 56, 256, 150)

#マスクの初期値を作成
mask = np.zeros(image_rgb.shape[:2],np.uint8)

#grabCutで用いる一時配列
bgdModel = np.zeros((1, 65), np.float64)
fgdModel = np.zeros((1, 65), np.float64)

#grabCutを実行
cv2.grabCut(image_rgb, #入力画像
            mask, #マスク
            rectangle, #範囲指定の矩形
            bgdModel,  #背景のための一時配列
            fgdModel,  #前景のための一時配列
            5,         #繰り返し回数
            cv2.GC_INIT_WITH_RECT) #矩形を用いて初期化

#マスクを作成.背景があることが確実もしくは高確率な場所を0に，それ以外を1に
mask_2 = np.where((mask==2) | (mask==0), 0, 1).astype('uint8')

#画像とマスクを掛け合わせて背景を除去
image_rgb_nobg = image_rgb * mask_2[:, :, np.newaxis]

#画像を表示
plt.imshow(image_rgb_nobg), plt.axis("off")
plt.show()

image_rgb_nobg = cv2.cvtColor(image_rgb_nobg, cv2.COLOR_BGR2RGB)
cv2.imwrite("images/image1.jpg", image_rgb_nobg)

#モノクロで画像を読み込み
image_gray = cv2.imread("images/plane_256x256.jpg", cv2.IMREAD_GRAYSCALE)

#輝度の中央値を計算
median_intensity = np.median(image_gray)

#中央値0.67倍と1.33倍を閾値として設定
lower_threshold = int(max(0, (1.0 - 0.33) * median_intensity))
upper_threshold = int(max(0, (1.0 + 0.33) * median_intensity))

#cannyエッジ検出を適用
image_canny = cv2.Canny(image_gray, lower_threshold, upper_threshold)

#画像を表示
plt.imshow(image_canny, cmap="gray"), plt.axis("off")
plt.show()


cv2.imwrite("images/image_canny.jpg", image_canny)

newmask = cv2.imread('image_canny', 0)

mask[newmask == 0] = 0
mask[newmask == 255] = 1

#エッジ検出した画像でgrabCutを実行
cv2.grabCut(image_rgb, #入力画像
            mask, #マスク
            None, #範囲指定の矩形
            bgdModel,  #背景のための一時配列
            fgdModel,  #前景のための一時配列
            5,         #繰り返し回数
            cv2.GC_INIT_WITH_MASK) #矩形を用いて初期化

#マスクを作成.背景があることが確実もしくは高確率な場所を0に，それ以外を1に
mask_3 = np.where((mask==2) | (mask==0), 0, 1).astype('uint8')

#画像とマスクを掛け合わせて背景を除去
image_rgb_nobg_canny = image_rgb* mask_3[:, :, np.newaxis]

#画像を表示
plt.imshow(image_rgb_nobg_canny), plt.axis("off")
plt.show()

image_rgb_nobg_canny = cv2.cvtColor(image_rgb_nobg_canny, cv2.COLOR_BGR2RGB)
cv2.imwrite("images/image2.jpg", image_rgb_nobg_canny)

試したこと

grabcutによる前景領域の抽出では，飛行機の右側の方の空が取れなかったため，輪郭検出で作成した画像を新たなマスクとして使用し，もう一度grabcutを行なったが結果は変わらなかった．

補足情報（FW/ツールのバージョンなど）

mac jupiter notebook python opencv

Answer 1

私はPython初心者で恐縮ですが、さっき皆さんの助言を受けて作った下記のコードでこのような画像が出来ました。結構昔、人間の目で色の違いを数式で表現するための実験がされていて、その色差を利用した形になっております。輝度は反射とかあるので使っていません。下記コードの1500というパラメータは調整可能です。このような考え方もあるということで、他の考え方と組み合わせて解決で出来ないものでしょうか。

import numpy as np
import cv2
import scipy.stats as sstats
import matplotlib.pyplot as plt

def func2(luv):
    l, u, v = cv2.split(luv)
    mode_l = sstats.mode(l[l.nonzero()])[0][0]
    mode_u = sstats.mode(u[l.nonzero()])[0][0]
    mode_v = sstats.mode(v[l.nonzero()])[0][0]
    mode = np.array([mode_l, mode_u, mode_v], dtype=int)
    a = (mode - luv)**2
    b = 0.*a[:, :, 0] + a[:, :, 1] +  a[:, :, 2]
    c = (b >= 1500).astype(np.uint8)
    cs = np.stack([c] * 3, axis=2)
    luv = luv * cs
    return luv

bgr = cv2.imread('hik.jpg')
luv = cv2.cvtColor(bgr, cv2.COLOR_BGR2Luv)
luvk = func2(luv)
result_k = cv2.cvtColor(luvk, cv2.COLOR_Luv2BGR)
cv2.imwrite("result_k.jpg",result_k)
rgb = result_k[:, :, [2, 1, 0]]
plt.imshow(rgb)
plt.show()