Open CVを利用して空の色を抽出したい

Question

Pyhon Numpy OpenCVを利用して道路の画像から空の色を抽出したいです。
空の色のHSV空間の青色の範囲がいまいちわからなくて困っています。
基本の空の色のHSV(BGR)を教えていただきたいです。
よろしくお願いします。

Answer 1

空の色のHSV空間の青色の範囲がいまいちわからなくて困っています。

ペイントの色抽出を使って空の適当な点の色を取得し、その前後の値で調整してはどうでしょうか。
RGB 色空間より HSV 色空間のほうが色の指定がしやすいかもしれません。

import cv2

# 画像を読み込む。
img = cv2.imread("test.jpg")
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)

# 2値化
binary = cv2.inRange(hsv, lowerb=(100, 70, 110), upperb=(115, 255, 255))

# 可視化
img[binary == 0] = 0
cv2.imwrite("dst.png", img)

入力画像

出力画像

基本の空の色のHSV(BGR)を教えていただきたいです。

天候や時間帯、また撮影したカメラの明るさなどの設定によって空の色はだいぶ変わってくるので、特定の画像の空の抽出なら色ベースでもいいと思いますが、ありとあらゆるシーンにおける空の抽出となると、色ベースでは精度に限界があると思います。

汎用的な方法を求めるのであれば、Deep Learning のセマンティックセグメンテーションを使うといいかもしれません。

上記画像にセマンティックセグメンテーションを行った結果

追記

自分はいつも画像処理のパラメータを決めるときは Jupyter Notebook で使える ipywidgets という拡張機能を使って調整しています。
回答のパラメータ値もそれで決めました。

pip install ipywidgets
jupyter nbextension enable --py --sys-prefix widgetsnbextension

import cv2
from IPython.display import Image, display
from ipywidgets import widgets


def imshow(img):
    """画像を Notebook 上に表示する。
    """
    ret, encoded = cv2.imencode(".png", img)
    display(Image(encoded))


def inRange(**kwargs):
    """2値化処理を行い、結果を表示する。
    """
    lower = tuple([int(l) for l, h in kwargs.values()])
    upper = tuple([int(h) for l, h in kwargs.values()])
    binary = cv2.inRange(img, lowerb=lower, upperb=upper)
    imshow(binary)


# 画像を読み込む。
img = cv2.imread("test.jpg")

img = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)

# パラメータ lower, upper を設定するスライダー
num_channels = 1 if img.ndim == 2 else img.shape[2]
parts = {}
for i in range(num_channels):
    slider = widgets.SelectionRangeSlider(
        options=np.arange(256), index=(0, 255), description=f"channel {i}"
    )
    slider.layout.width = "400px"

    parts[f"channel{i}"] = slider

# ウィジェットを表示する。
widgets.interactive(inRange, **parts)

Comments

[kara_wata]

ご回答ありがとうございます。
ペイントにその様な機能があることを初めて知りました。
早速、実践してみたいと思います。
また、Deep Learning のセマンティックセグメンテーションのやり方を詳しく教えていただいてもよろしいでしょうか？

[tiitoi]

セマンティックセグメンテーションはこちらのモデルを使用しました。
https://github.com/tensorflow/models/tree/master/research/deeplab

すみませんが、具体的な使い方についてここで解説するのはスペースがないので難しいです。
サンプルコードなどは載っているのでそれを参考にすればよいと思います。
セマンティックセグメンテーションをやる場合は Deep Learning や TensorFlow というライブラリに関するある程度の知識が必要となります。

[kara_wata]

わかりました。勉強します。
初歩的な質問ですいません
RGBからHSV変換方法の正しいやり方を教えていただけますか？

[tiitoi]

回答のコードにあるように
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
で HSV に変換できます。OpenCV の imread で画像を読み込んだ場合はチャンネルの並び順は RGB ではなく、BGR になっていますので、BGR2HSV としています。
チャンネルの並び順が RGB である場合は
hsv = cv2.cvtColor(img, cv2.COLOR_RGB2HSV)
となります。

[tiitoi]

ペイントの色編集画面の色合いが H、鮮やかさがS、明るさがVに対応しています。赤緑青はRGBの値です。

[kara_wata]

載せてくれた写真を例にすると、R=4, G=79, B=207であるのに
例のコードでは
lowerb=(100, 70, 110), upperb=(115, 255, 255)
となっているのはなぜでしょうか？
lower = ([207, 79, 4])にはならないんでしょうか？

また、upperの値の決め方も教えていただきたいです。
本当に初歩的な質問で申し訳ありませんがよろしくお願い致します。

[tiitoi]

RGB から HSV 色空間に変換しているので、lowerb, upperb の値は HSV の範囲で指定する必要があります。
ただ先程「ペイントの色編集画面の色合いが H、鮮やかさがS、明るさがV」と言いましたが、ペイントと OpenCV で意味するものが違うかもしれないので、こちらは参考にならないかもしれないので、無視してください。

自分はパラメータは追記したように ipywidget というもので調整しました。

[kara_wata]

では、値はBGRをHSVに変換した値を入力すればいいということでしょうか？

[tiitoi]

それでもいいです。
空の色の適当な一点の色を調べる → HSV での値を調べる → 範囲で指定するのでその前後±20ぐらいで上限下限を決める

[kara_wata]

BGRの値、HSVの値どちらでも可能ということなのですね？
やってみます！

[tiitoi]

はい、どちらでも大丈夫です。
うまくいかなければいろいろ値を変えて調整してみてください。

[kara_wata]

注意すべきところはRGBではなくBGRなので入力の順番を間違えないというところですね！
長々とありがとうございました。