質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.58%

カラー画像の変化を検出

解決済

回答 3

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 4,527

score 13

初めて質問させて頂きます。
Visual Studio Express 2013 for Window Desktop で、C# windowsフォームアプリケーションにて
Microsoft Kinect V2を扱っています。
Kinectにて30fpsで取得するカラー画像(Bitmap)を用いて、フレーム間でカラー画像ビットマップを比較して変化のあるピクセルを白・その他のピクセルを黒の2色で表わし(2値化処理?)、pictureBoxに表示したいと思っています。変化の有無の閾値はtrackBar又はnumericUpDownで設定します。
フレーム間でピクセルの変化を検出するために、ピクセルのRGB値から輝度に変換しその輝度値が閾値を超えたら変化したと見なせばよいと考え、まずはKinectのカラーフレーム部分と、予め用意した画像2枚の変化を2値化する関数を以下のように記述しました。

// 変数宣言
Bitmap cBmp;
BitmapData cBmpData;
Rectangle cRect = new Rectangle(0, 0, 1920, 1080);
uint cSize = new uint(1920 * 1080 * 4);
MultiSourceFrameReader mReader;

Bitmap aBmp = new Bitmap(@"C:画像A.png");
Bitmap bBmp = new Bitmap(@"C:画像B.png");
BitmapData aBmpData, bBmpData;
//
public Form1()
{
InitializeComponent();
mReader.MultiSourceFrameArrived += mReader_MultiSourceFrameArrived;
aBmpData = aBmp.LockBits(new Rectangle(0, 0, aBmp.Width, aBmp.Height), ImageLockMode.ReadWrite, aBmp.PixelFormat);
bBmpData = bBmp.LockBits(new Rectangle(0, 0, bBmp.Width, bBmp.Height), ImageLockMode.ReadWrite, bBmp.PixelFormat);
}
//
void mReader_MultiSourceFrameArrived(object sender, MultiSourceFrameArrivedEventArgs e)
{
MultiSourceFrame mFrame = e.FrameReference.AcquireFrame();

using (ColorFrame cFrame = mReader.ColorFrameReference.AcquireFrame())
{
if (cFrame != null)
{
cBmpData = cBmp.LockBits(cRect, ImageLockMode.WriteOnly, PixelFormat.Format32bppRgb);
cFrame.CopyConvertedFrameDataToIntPtr(cBmpData.Scan0, cSize, ColorImageFormat.Bgra);
cBmp.UnlockBits(cBmpData);
pictureBox1.Image = cBmp;
}
}}

// 2枚の画像を2値化する関数
void GetDifferImage(Bitmap Bmp1, Bitmap Bmp2, BitmapData Bmp1Data, BitmapData Bmp2Data)
{
byte[] pix = new byte[Bmp1.Width * Bmp1.Height * 4];
Color c1, c2;
int index1, index2;
float intensity;

for(int y = 0; y < Bmp1.Height; y++)
{
for(int x = 0; x < Bmp1.Width; x++)
{
index1 = Bmp1Data.Stride * y + x * 4;
index2 = Bmp2Data.Stride * y + x * 4;
c1 = Color.FromArgb(0, Marshal.ReadByte(Bmp1Data.Scan0, index1 + 2), Marshal.ReadByte(Bmp1Data.Scan0, index1 + 1), Marshal.ReadByte(Bmp1Data.Scan0, index1));
c2 = Color.FromArgb(0, Marshal.ReadByte(Bmp2Data.Scan0, index2 + 2), Marshal.ReadByte(Bmp2Data.Scan0, index2 + 1), Marshal.ReadByte(Bmp2Data.Scan0, index2));
intensity = (c2.R - c1.R) * 0.299f + (c2.G - c1.G) * 0.587f + (c2.B - c1.B) * 0.114f;

if (intensity > threshold)
{
pix[(x + Bmp1.Width * y) * 4] = 0xff;
pix[(x + Bmp1.Width * y) * 4 + 1] = 0xff;
pix[(x + Bmp1.Width * y) * 4 + 2] = 0xff;
pix[(x + Bmp1.Width * y) * 4 + 3] = 0;
}
Bitmap nBmp = new Bitmap(Bmp1.Width, Bmp1.Height, PixelFormat.Format32bppRgb);
BitmapData nBmpData = nBmp.LockBits(new Rectangle(0, 0, nBmp.Width, nBmp.Height), ImageLockMode.WriteOnly, nBmp.PixelFormat);
Marshal.Copy(pix, 0, nBmpData.Scan0, pix.Length);
nBmp.UnlockBits(nfBmpData);

pictureBox2.Image = nBmp;
}
}
}
//

予め用意した2枚の画像は共に659*373で、これをbutton等のイベントで2値化するとおよそ0.3秒かかりました。
この処理に関しては調べたものを基に作成したので、BitmapData.StrideからMarshal.ReadByteの辺りがまだ完全には理解してないのですが、ピクセルのRGBを検出するものとしてのBitmap.GetPixel(x,y)は処理が重いことで有名だということで、GetPixelを用いずこのように致しました。

一回の処理で0.3秒かかるため、kinectのカラー画像(1920*1080)はフレーム間隔1/30[sec]で取得するため、そのフレーム間差分をとるにはとてもじゃないですが正常に動作しませんでした。

30fpsで更新されるカラー画像cBmpの差分を取得して、pictureBoxに表示するにはどのような方法がありますでしょうか。又輝度値以外にカラー画像の変化を検出できるものがあれば、教えて頂きたいです。
コードは一部を抜粋したものなので正しくない箇所がいくつかあるかと思いますが、どうぞ宜しくお願い致します。

追記
目的が伝わりにくく失礼致しました。Kinectを使用する理由は、他の機能の実装するためにDepth・Body等も利用したいからです。
例えばですが、以下の2枚を予めBitmapとして用意しておき、上記のGetDifferImageで差分を取って2値化した場合約0.3秒かかりました。KinectのBodyIndexで撮影した人物領域のみ(歩行時)を同じ背景に投影させています。
入力画像1
入力画像2

この2枚の差分を取ったものが以下になります。
(入力画像2) - (入力画像1)

上の2枚のように、Kinectで歩く様子を撮影する場合30fpsでカラー画像が更新されるので、1回の処理に0.3秒かかってしまうとリアルタイムでの処理が間に合わなくなり?、プログラムがフリーズしてしまいます。
プログラムが止まらないような差分処理の方法が分からないので質問させて頂きました。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 3

checkベストアンサー

+2

こんにちは。

C#による画像処理はC言語による画像処理速度には及びませんので、Qooさんが言っているようにOpenCVを使った方が後々スムーズと思います。C#からOpenCVを呼ぶためのOpenCVSharpというライブラリもあるようですから。

さて、本題です。OpenCVを使わないで高速化もそこそこできるようです。
このサイトに中々深い調査とサンプル・ソースがありました。参考にできると思います。(OpenCVを使うほどは高速にはならないとは思いますが。)

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2016/09/30 11:55

    ありがとうございます。
    まずは紹介して頂いたサイトを参考にしたもの作成してから、
    openCVにチャレンジしてみたいと思います。

    キャンセル

0

目的がわからないので回答にはなっていないかもしれませんが、
差分検出であればopnecvを利用した方が簡単ではないでしょうか
http://www.thedesignium.com/development/8237
単純にカラー画像だけの差分検出であればKINECTを使わなくてもWEBカメラだけでもできると思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2016/09/30 10:29

    意図が伝わりにくく失礼致しました。
    追記しましたように、30fpsの速さでリアルタイムで更新されるcBmpのカラーのフレーム間差分を逐一検出したいと思っております。

    キャンセル

0

通常のwindowsフォームアプリケーションでやる範疇を超えています。
こういうのはもうゲーム開発の領域です。
C#にこだわるならUnityをおすすめします。
Kinect開発者のための、Unityの基礎知識とインストール

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.58%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る