カラー画像の変化を検出

Question

初めて質問させて頂きます。
Visual Studio Express 2013 for Window Desktop で、C# windowsフォームアプリケーションにて
Microsoft Kinect V2を扱っています。
Kinectにて30fpsで取得するカラー画像(Bitmap)を用いて、フレーム間でカラー画像ビットマップを比較して変化のあるピクセルを白・その他のピクセルを黒の2色で表わし(2値化処理？)、pictureBoxに表示したいと思っています。変化の有無の閾値はtrackBar又はnumericUpDownで設定します。
フレーム間でピクセルの変化を検出するために、ピクセルのRGB値から輝度に変換しその輝度値が閾値を超えたら変化したと見なせばよいと考え、まずはKinectのカラーフレーム部分と、予め用意した画像2枚の変化を2値化する関数を以下のように記述しました。

// 変数宣言
Bitmap cBmp;
BitmapData cBmpData;
Rectangle cRect = new Rectangle(0, 0, 1920, 1080);
uint cSize = new uint(1920 * 1080 * 4);
MultiSourceFrameReader mReader;

Bitmap aBmp = new Bitmap(@"C:画像A.png");
Bitmap bBmp = new Bitmap(@"C:画像B.png");
BitmapData aBmpData, bBmpData;
//
public Form1()
{
InitializeComponent();
mReader.MultiSourceFrameArrived += mReader_MultiSourceFrameArrived;
aBmpData = aBmp.LockBits(new Rectangle(0, 0, aBmp.Width, aBmp.Height), ImageLockMode.ReadWrite, aBmp.PixelFormat);
bBmpData = bBmp.LockBits(new Rectangle(0, 0, bBmp.Width, bBmp.Height), ImageLockMode.ReadWrite, bBmp.PixelFormat);
}
//
void mReader_MultiSourceFrameArrived(object sender, MultiSourceFrameArrivedEventArgs e)
{
MultiSourceFrame mFrame = e.FrameReference.AcquireFrame();

using (ColorFrame cFrame = mReader.ColorFrameReference.AcquireFrame())
{
if (cFrame != null)
{
cBmpData = cBmp.LockBits(cRect, ImageLockMode.WriteOnly, PixelFormat.Format32bppRgb);
cFrame.CopyConvertedFrameDataToIntPtr(cBmpData.Scan0, cSize, ColorImageFormat.Bgra);
cBmp.UnlockBits(cBmpData);
pictureBox1.Image = cBmp;
}
}}

// 2枚の画像を2値化する関数
void GetDifferImage(Bitmap Bmp1, Bitmap Bmp2, BitmapData Bmp1Data, BitmapData Bmp2Data)
{
byte[] pix = new byte[Bmp1.Width * Bmp1.Height * 4];
Color c1, c2;
int index1, index2;
float intensity;

for(int y = 0; y < Bmp1.Height; y++)
{
for(int x = 0; x < Bmp1.Width; x++)
{
index1 = Bmp1Data.Stride * y + x * 4;
index2 = Bmp2Data.Stride * y + x * 4;
c1 = Color.FromArgb(0, Marshal.ReadByte(Bmp1Data.Scan0, index1 + 2), Marshal.ReadByte(Bmp1Data.Scan0, index1 + 1), Marshal.ReadByte(Bmp1Data.Scan0, index1));
c2 = Color.FromArgb(0, Marshal.ReadByte(Bmp2Data.Scan0, index2 + 2), Marshal.ReadByte(Bmp2Data.Scan0, index2 + 1), Marshal.ReadByte(Bmp2Data.Scan0, index2));
intensity = (c2.R - c1.R) * 0.299f + (c2.G - c1.G) * 0.587f + (c2.B - c1.B) * 0.114f;

  if (intensity > threshold)
                {
                    pix[(x + Bmp1.Width * y) * 4] = 0xff;
                    pix[(x + Bmp1.Width * y) * 4 + 1] = 0xff;
                    pix[(x + Bmp1.Width * y) * 4 + 2] = 0xff;
                    pix[(x + Bmp1.Width * y) * 4 + 3] = 0;
                }

Bitmap nBmp = new Bitmap(Bmp1.Width, Bmp1.Height, PixelFormat.Format32bppRgb);
BitmapData nBmpData = nBmp.LockBits(new Rectangle(0, 0, nBmp.Width, nBmp.Height), ImageLockMode.WriteOnly, nBmp.PixelFormat);
Marshal.Copy(pix, 0, nBmpData.Scan0, pix.Length);
nBmp.UnlockBits(nfBmpData);

        pictureBox2.Image = nBmp;

}
}
}
//

予め用意した2枚の画像は共に659*373で、これをbutton等のイベントで2値化するとおよそ0.3秒かかりました。
この処理に関しては調べたものを基に作成したので、BitmapData.StrideからMarshal.ReadByteの辺りがまだ完全には理解してないのですが、ピクセルのRGBを検出するものとしてのBitmap.GetPixel(x,y)は処理が重いことで有名だということで、GetPixelを用いずこのように致しました。

一回の処理で0.3秒かかるため、kinectのカラー画像(1920*1080)はフレーム間隔1/30[sec]で取得するため、そのフレーム間差分をとるにはとてもじゃないですが正常に動作しませんでした。

30fpsで更新されるカラー画像cBmpの差分を取得して、pictureBoxに表示するにはどのような方法がありますでしょうか。又輝度値以外にカラー画像の変化を検出できるものがあれば、教えて頂きたいです。
コードは一部を抜粋したものなので正しくない箇所がいくつかあるかと思いますが、どうぞ宜しくお願い致します。

追記
目的が伝わりにくく失礼致しました。Kinectを使用する理由は、他の機能の実装するためにDepth・Body等も利用したいからです。
例えばですが、以下の2枚を予めBitmapとして用意しておき、上記のGetDifferImageで差分を取って2値化した場合約0.3秒かかりました。KinectのBodyIndexで撮影した人物領域のみ(歩行時)を同じ背景に投影させています。

この2枚の差分を取ったものが以下になります。

上の2枚のように、Kinectで歩く様子を撮影する場合30fpsでカラー画像が更新されるので、１回の処理に0.3秒かかってしまうとリアルタイムでの処理が間に合わなくなり？、プログラムがフリーズしてしまいます。
プログラムが止まらないような差分処理の方法が分からないので質問させて頂きました。

Answer 1

こんにちは。

C#による画像処理はC言語による画像処理速度には及びませんので、Qooさんが言っているようにOpenCVを使った方が後々スムーズと思います。C#からOpenCVを呼ぶためのOpenCVSharpというライブラリもあるようですから。

さて、本題です。OpenCVを使わないで高速化もそこそこできるようです。
このサイトに中々深い調査とサンプル・ソースがありました。参考にできると思います。（OpenCVを使うほどは高速にはならないとは思いますが。）

Comments

[Megasama]

ありがとうございます。
まずは紹介して頂いたサイトを参考にしたもの作成してから、
openCVにチャレンジしてみたいと思います。

Answer 2

通常のwindowsフォームアプリケーションでやる範疇を超えています。
こういうのはもうゲーム開発の領域です。
C#にこだわるならUnityをおすすめします。
Kinect開発者のための、Unityの基礎知識とインストール

Answer 3

目的がわからないので回答にはなっていないかもしれませんが、
差分検出であればopnecvを利用した方が簡単ではないでしょうか
http://www.thedesignium.com/development/8237
単純にカラー画像だけの差分検出であればKINECTを使わなくてもWEBカメラだけでもできると思います。

Comments

[Megasama]

意図が伝わりにくく失礼致しました。
追記しましたように、30fpsの速さでリアルタイムで更新されるcBmpのカラーのフレーム間差分を逐一検出したいと思っております。