回答編集履歴

  OpenCVがあるのであれば、Kinectからのカラー映像をOpenCVでHSV変換してHの範囲で色を識別する方法（この場合、白と黒は対応が難しいかも）が一般的と思います。