質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.37%

KINECTv2において音声方向が認識されず、動かない

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 1,373

Kinectv2で音声方向を取得し、線で描画するようにしたいのですが、デバックすると線が固まっていて動きません。音声を認識している様子もないのでどうすれば治るのかわかりません。
環境はWindows10、VisualStudio2015のC++で開発しています。
プログラムは本をほとんど映したものなのでなぜ動かないのかもわかりません。
環境変数などは設定済みです。
よろしくお願いします。
以下プログラム

#include <sstream>

#include<Kinect.h>

#include<opencv2\opencv.hpp>//opencv

#include<atlbase.h>//opencv

//using namespace std;


#define ERROR_CHECK( ret ) \
if ( (ret) != S_OK ){  \
    std::stringstream ss; \
    ss << " failed " #ret " " << std::hex << ret << std::endl; \
    throw std::runtime_error( ss.str().c_str() );\
}





class KinectApp {

    private:

        CComPtr<IKinectSensor>kinect = nullptr;
        CComPtr<IAudioBeamFrameReader> audioBeamFrameReader = nullptr;



        float beamAngle;
        float beamAngleConfidence;



        //IKinectSensor* kinect = nullptr;

        IColorFrameReader* colorFrameReader = nullptr;

        std::vector<BYTE> colorBuffer;

        int colorWidth;
        int colorHeight;
        unsigned int colorBytesPerPixel;

        WAITABLE_HANDLE waitableHandle = 0;

        bool isAvailable = false;

    public:

        void initialize()
        {
            //デフォルトのkinectを取得する
            ERROR_CHECK(::GetDefaultKinectSensor(&kinect));
            ERROR_CHECK(kinect->Open());


            //カラーリーダーを取得する
            CComPtr<IColorFrameSource> colorFrameSource;
            ERROR_CHECK(kinect->get_ColorFrameSource(&colorFrameSource));
            ERROR_CHECK(colorFrameSource->OpenReader(&colorFrameReader));
            //カラー画像のサイズを取得する
            CComPtr<IFrameDescription> colorFrameDescription;
            ERROR_CHECK(colorFrameSource->CreateFrameDescription(ColorImageFormat::ColorImageFormat_Bgra, &colorFrameDescription));
            ERROR_CHECK(colorFrameDescription->get_Width(&colorWidth) );
            ERROR_CHECK(colorFrameDescription->get_Height(&colorHeight));
            ERROR_CHECK(colorFrameDescription->get_BytesPerPixel(&colorBytesPerPixel));
            std::cout << "create :" << colorWidth << "," << colorHeight << "," << colorBytesPerPixel << std::endl;


            //バッファーを作成する
            colorBuffer.resize(colorWidth * colorHeight * colorBytesPerPixel);


            //オーディオを開く
            CComPtr<IAudioSource> audioSource;
            ERROR_CHECK(kinect->get_AudioSource(&audioSource));

            ERROR_CHECK(audioSource->OpenReader(&audioBeamFrameReader));

        }

        void updateAudioFrame()
        {
            //ビームフレームリストを取得する
            CComPtr<IAudioBeamFrameList> audioBeamFrameList;
            auto ret = audioBeamFrameReader->AcquireLatestBeamFrames(&audioBeamFrameList);
            if (ret != S_OK) {
                return;
            }

            //ビームフレームを取得する
            UINT beamCount = 0;
            ERROR_CHECK(audioBeamFrameList->get_BeamCount(&beamCount));
            for (int i = 0; i < beamCount; i++) {
                CComPtr<IAudioBeamFrame> audioBeamFrame;
                ERROR_CHECK(audioBeamFrameList->OpenAudioBeamFrame(i, &audioBeamFrame));

                //サブフレームを取得する
                UINT subFrameCount = 0;
                ERROR_CHECK(audioBeamFrame->get_SubFrameCount(&subFrameCount));

                for (int j = 0; j < subFrameCount; j++) {
                    CComPtr<IAudioBeamSubFrame> audioBeamSubFrame;
                    ERROR_CHECK(audioBeamFrame->GetSubFrame(j, &audioBeamSubFrame));

                    //角度及び角度の信頼性を取得する
                    ERROR_CHECK(audioBeamSubFrame->get_BeamAngle(&beamAngle));
                    ERROR_CHECK(audioBeamSubFrame->get_BeamAngleConfidence(&beamAngleConfidence));
                }

            }
        }

        void run() {
            while (1) {

                update();
                draw();

                auto key = cv::waitKey(10);

                if (key == 'q') {
                    break;
                }
            }
        }


    private:

        void update()
        {
            updateColorFrame();// カラーフレームの更新
        }



        // カラーフレームの更新
        void updateColorFrame()
        {




            // フレームを取得する
            CComPtr<IColorFrame> colorFrame;

            auto ret = colorFrameReader->AcquireLatestFrame(&colorFrame);

            if (FAILED(ret)) {
                    return;
            }

            if (ret == S_OK) {

                // BGRAの形式でデータを取得する

                ERROR_CHECK(colorFrame->CopyConvertedFrameDataToArray(

                    colorBuffer.size(), &colorBuffer[0], ColorImageFormat::ColorImageFormat_Bgra));


                // スマートポインタを使ってない場合は、自分でフレームを解放する
                // colorFrame->Release();

            }

        }

    void draw()
        {

            drawColorFrame();

                cv::Mat image = cv::Mat::zeros(480, 640, CV_8UC4);

                //ラジアンから度に変換する
                auto angle = beamAngle * 180 / 3.1416;

                //線を回転させる(逆回転させる)
                auto alpha = 3.1416 / -angle;
                int offsetX = 320;
                int offsetY = 240;

                auto X2 = 0 * cos(alpha) - offsetY * sin(alpha);
                auto Y2 = 0 * sin(alpha) + offsetY * cos(alpha);

                //回転させた線を描画する
                cv::line(image, cv::Point(offsetX, 0), cv::Point(offsetX + X2, Y2), cv::Scalar(255, 255, 255), 10);
                cv::imshow("AudioBeamAngle", image);
                //std::cout << "Angle" << angle;
            }


    void drawColorFrame() 
    {
        // カラーデータを表示する

            cv::Mat colorImage(colorHeight, colorWidth, CV_8UC4, &colorBuffer[0]);
            cv::imshow("ColorImage", colorImage);
    }

    };

    void main() {
        try {
            KinectApp app;
            app.initialize();
            app.run();
        }
        catch (std::exception& ex) {
            std::cout << ex.what() << std::endl;
        }
    }
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

check解決した方法

0

run()関数でupdateAudioFrame()を呼び出していないのが原因でした.

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.37%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る