opencv 色情報取得について

Question

現在、opencvを用いて、顔動画から顔部分（おでこ部）のRGBのうち、G（グリーン）だけを取り出し出力するプログラムを作成中です。このプログラムにより、G成分の動きからストレスを判別していきたいと思っています。しかし、得られた情報をグラフ化しても、撮影する環境がまったく同じでも、異なる結果が出てしまいます。そこで、以下に示すプログラムが本当にG成分のみを検出し出力しているのか、間違ったコードではないか教えていただけないでしょうか。

import cv2
import os
import sys
import numpy as np

HAAR_FILE="haarcascade_frontalface_default.xml"
cascade=cv2.CascadeClassifier(HAAR_FILE)

cap = cv2.VideoCapture(0)



while True:

    ret, frame = cap.read()
    face=cascade.detectMultiScale(frame)

    for x,y,w,h in face:
        cv2.rectangle(frame,(x,y),(x+w,y+h),(0,0,255),1)

        #おでこ部分
        xx=int(x+(5/9)*w)
        yy=int(y+(1/13)*h)
        zz=int(x+(6/9)*w)
        ww=int(y+(2/13)*h)
        #おでこ部分を四角で囲む
        cv2.rectangle(frame,(xx,yy),(zz,ww),(0,255,0),1)



        cv2.imshow('frame', frame)
        # 対象範囲を切り出し（おでこ部）
        boxFromX = xx #対象範囲開始位置 X座標
        boxFromY = yy #対象範囲開始位置 Y座標
        boxToX = zz #対象範囲終了位置 X座標
        boxToY = ww #対象範囲終了位置 Y座標

        # y:y+h, x:x+w　の順で設定
        imgBox = frame[boxFromY: boxToY, boxFromX: boxToX]

        # RGB平均値を出力
        # flattenで一次元化しmeanで平均を取得
        b = imgBox.T[0].flatten().mean()
        g = imgBox.T[1].flatten().mean()
        r = imgBox.T[2].flatten().mean()

        # RGB平均値を取得
        print("%.2f" % (g))

    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

エラーなどは全くないです。
また、これらの情報が間違っているのか合っているのか確かめる方法がありましたら教えていただきたいです。

Answer 1

処理はあってるんじゃないですかね。

import numpy as np
import cv2

def main():
    # 画像のダミーデータ 3x3
    # blue = 0, green = 128, red = 255
    img = np.uint8(
        [
            [[0, 128, 255], [0, 128, 255], [0, 128, 255]],
            [[0, 128, 255], [0, 128, 255], [0, 128, 255]],
            [[0, 128, 255], [0, 128, 255], [0, 128, 255]]
        ]
    )

    # Rが強いのでオレンジっぽい3x3の画像が出力されるはず
    cv2.imwrite("sample.png", img)

    # 画像の切り出し
    imgBox = img[:2, :2]

    # 緑チャネルだけ取り出す
    g = imgBox.T[1].flatten().mean()

    print(f"g should be 128.0 : actual -> {g:.1f}")


if __name__ == "__main__":
    main()

Comments

[退会済みユーザー]

わざわざ、コードを載せていただきありがとうございます。参考にさせていただきます。

[退会済みユーザー]

これにより、値の正確性を確かめられるということでしょうか？

Answer 2

RGBで色判定するよりもHSVの色空間に変換してHとSの値で緑の領域を判定する方が安定すると思います。
具体的にはOpencvの変換でBGR(OpenCVでのMatの構造）をHSVにcvtColorで変換してatを用いて画素を一つ一つ検査（その際に座標はY,Xの順番に注意）で値が緑色の範囲になるもの以外をマスクで簡単になると考えます。

とりあえず本件は場外で解説しております。

しかしながら他の方の為に補足情報として追記。

OpenCV で HSV 色空間を取り扱う方法

Comments

[退会済みユーザー]

緑の領域を取得するというよりも、ある部分のG成分の変化により血中ヘモグロビン量を推定するというものなのですが、このHSV変換により、G成分の値を検出できるということでしょうか。あまり知識がなく申し訳ございません。

[退会済みユーザー]

顔のおでこ部分のG成分の値の平均をフレームごとに出力するという意味です。

[MasahikoHirata]

G成分の検出は理論的に可能です。
もし実映像があれば具体的に解説が可能です。

[退会済みユーザー]

詳しくお聞きしたいのですが、ほかの媒体を利用してお話しをお聞きすることはできますでしょうか。例えばTwitterなど。

[MasahikoHirata]

私的には構いませんが。
FacebookのMessengerでいいですか？

[MasahikoHirata]

Facebookも同名の平田正彦、東京都大田区田園調布です。

[退会済みユーザー]

わかりました。個人情報をこのサイトにあまり公表したくないのですが何か方法があったりしますでしょうか。もしないようでしたら、このコメント欄にてURLを貼りたいと思います

[退会済みユーザー]

ありがとうございます。今から、Facebookにてメッセージを送らせていただきます