回答編集履歴

  RGBで色判定するよりもHSVの色空間に変換してHとSの値で緑の領域を判定する方が安定すると思います。

 

  具体的にはOpencvの変換でBGR(OpenCVでのMatの構造）をHSVにcvtColorで変換してatを用いて画素を一つ一つ検査（その際に座標はY,Xの順番に注意）で値が緑色の範囲になるもの以外をマスクで簡単になると考えます。