MIDIデータの読み込みで音符の表示

Question

MIDIデータを読み込んで、それを楽譜の模範演奏として表示したいと考えています。
この質問のひとつ前に質問をした時のちょうちょ（音はピアノ）を楽譜で表示すると画像のようになります。

#include <windows.h>
#include <iostream>
#include <fstream>
#include <iomanip>
#include <stdio.h>
#include <time.h>
#include <process.h>

#include "MIDIIO.h"
#include "MIDIData.h"
#include "MIDIClock.h"
#include <opencv2/opencv.hpp>

SYSTEMTIME stTime;             /* 現在時刻獲得用変数         */
static char strTime[128];      /* 現在時刻表示用の文字列     */
double cur_time;               /* 現在時刻の，当日午前0時からの秒数 */


#define SHEET_GAP 20 //楽譜の表示位置の初期の値
#define NOTE_GAP 60 //音符の表示位置の初期の値

#define NOTE_H 12 //四分音符の表示する高さの初期の値
#define NOTE_W (NOTE_H * 1.05) //二分音符の表示する高さの初期の値
#define NOTE_ANGLE (-20) //音符の大きさ

#define SHEET_W (SHEET_GAP * 2 + NOTE_GAP * 4 * 4) //楽譜の横の長さ
#define SHEET_H (SHEET_GAP * 2 + NOTE_H * 4 + SHEET_GAP * 2) //楽譜の縦の長さ

#define NOTE_OFFSET (12 * 3) //音符表示できる数

#define USE_KEYBOARD 1 //0ならキーボード不使用、1ならキーボード使用

char* winname = "Sheet";

bool g_bContinue = true;

MIDIIn* pMIDIIn; //MIDIの初期化
MIDIOut* pMIDIOut;

HANDLE hGetNotesMutex; //ミューテックスのハンドル
HANDLE hNoteXMutex;

int note_x;
int note_x_by_midi;
int note_y[11];
int flag[2] = { 1, 1 }; // [0] for midi input, [1] for keyboard input

cv::Mat sheet_base;
cv::Mat sheet_note;
cv::Mat sheet_draw;
cv::Mat sheet_base2[4];


int current_x = SHEET_GAP;

std::vector<int> note_correct_x;
std::vector<int> note_correct_y;

std::vector<int> note_player_x;
std::vector<int> note_player_y;

int hitcount = 0;
double avelen = 0.0;
double avelen2[4] = { 0.0, 0.0, 0.0, 0.0 };

void pseudoColor(double index, unsigned char& B, unsigned char& G, unsigned char& R) { //擬似カラーの設定
																					   // 0.0 <= index <= 1.0
	if (0.0 <= index && index <= 0.25) {
		B = 255;
		R = 0;
		G = (int)(256.0 / 64.0 * index * 255.0);
	}
	else if (0.25 < index && index <= 0.5) {
		G = 255;
		R = 0;
		B = (int)(-256.0 / 64.0 * index * 255.0 + 511.0);

	}
	else if (0.5 < index && index <= 0.75) {
		B = 0;
		G = 255;
		R = (int)(256.0 / 64.0 * index * 255.0 - 511.0);
	}
	else if (0.75 < index && index <= 1.0) {
		R = 255;
		B = 0;
		G = (int)(-256.0 / 64.0 * index * 255.0 + 256 * 3 - 1);
	}
	else {
		// Error
	}
}

void PutNote(cv::Mat& sheet, unsigned char status, unsigned char data1, unsigned char data2, long duration, cv::Scalar color, int note_x, int& index) { //音符の配置

	if ((status & 0xF0) == 0x90 && data2 != 0x00) {

		if (data1 == (0x18 + NOTE_OFFSET)) { // Do C
			index = 0;
		}
		else if (data1 == (0x26 + NOTE_OFFSET)) { // Re D
			index = 1;
		}
		else if (data1 == (0x1C + NOTE_OFFSET)) { // Mi E
			index = 2;
		}
		else if (data1 == (0x1D + NOTE_OFFSET)) { // Fa F
			index = 3;
		}
		else if (data1 == (0x1F + NOTE_OFFSET)) { // So G
			index = 4;
		}
		else if (data1 == (0x21 + NOTE_OFFSET)) { // Ra
			index = 5;
		}
		else if (data1 == (0x23 + NOTE_OFFSET)) { //Shi
			index = 6;
		}
		else if (data1 == (0x24 + NOTE_OFFSET)) { // Do
			index = 7;
		}
		else if (data1 == (0x1A + NOTE_OFFSET)) { // Re
			index = 8;
		}
		else if (data1 == (0x28 + NOTE_OFFSET)) {
			index = 9;
		}
		else if (data1 == (0x19 + NOTE_OFFSET)) {
			index = 10;
		}
		if (index != -1) {
			if (duration == 120) {
				cv::ellipse(sheet, cv::Point(note_x, note_y[index]), cv::Size(NOTE_W, NOTE_H / 2), NOTE_ANGLE, 0, 360, color, -1);
			}
			else if (duration == 240) {
				cv::ellipse(sheet, cv::Point(note_x, note_y[index]), cv::Size(NOTE_W, NOTE_H / 2), NOTE_ANGLE, 0, 360, color, 2);
			}
			else {
			}
		}
	}
	else if (status == 0x80 || data2 == 0x00) {
	}
}

void PutNoteData(int mode, cv::Mat& sheet, unsigned char status, unsigned char data1, unsigned char data2, long duration, cv::Scalar color, int note_x) {
	int index = -1;
	PutNote(sheet, status, data1, data2, duration, color, note_x, index);
	if (mode == 0) { // 楽譜構築モード
		note_correct_x.push_back(note_x);
		note_correct_y.push_back(index);
	}
	else if (mode == 1) { // ユーザによる演奏音符反映モード
		note_player_x.push_back(note_x);
		note_player_y.push_back(index);
	}
	else {
		// mode == -1 // 時刻に対応する音符反映モード
	}
}

unsigned __stdcall GetNotesThread(void *p)
{

	long lLen;
	unsigned char byMessage[256];

	/* MIDIメッセージの取得ループ */
	while (g_bContinue) {
		WaitForSingleObject(hGetNotesMutex, INFINITE); //mutex 間は他のスレッドから変数を変更できない
		lLen = MIDIIn_GetMIDIMessage(pMIDIIn, byMessage, 256);
		ReleaseMutex(hGetNotesMutex);

		/* MIDIメッセージを取得した */
		if (lLen > 0) {

			/* スレッド */
			WaitForSingleObject(hGetNotesMutex, INFINITE);
			MIDIOut_PutMIDIMessage(pMIDIOut, byMessage, lLen);
			for (int i = 0; i < lLen; i++) {
				std::cerr << "0x" << std::setw(2) << std::setfill('0') << std::hex << std::uppercase << (int)byMessage[i] << " ";
			}
			std::cerr << "/ ";;
			ReleaseMutex(hGetNotesMutex);

			unsigned char status = byMessage[0];
			unsigned char data1 = byMessage[1];
			unsigned char data2 = byMessage[2];
			if ((status & 0xF0) == 0x99 && data2 != 0x00) {
				hitcount++;

				WaitForSingleObject(hNoteXMutex, INFINITE); //mutex 間は他のスレッドから変数を変更できない
				PutNoteData(1, sheet_base2[0], status, data1, data2, 120, cv::Scalar(127, 127, 127), current_x);

				int key_x = note_player_x[note_player_x.size() - 1];
				int key_y = note_player_y[note_player_y.size() - 1];

				int nearest_index = 0;
				int nearest_length = 99999;

				for (int i = 0; i < note_correct_x.size(); i++) {
					if (abs(note_correct_x[i] - key_x) < nearest_length) {
						nearest_index = i;
						nearest_length = abs(note_correct_x[i] - key_x);
					}
				}

				int near_x = note_correct_x[nearest_index];
				int near_y = note_correct_y[nearest_index];
				double diff;

				// CalcPseudoColor
				unsigned char b, g, r;

				//ずれ情報なし
				diff = 0.0;
				pseudoColor(diff, b, g, r);
				PutNoteData(-1, sheet_base2[0], status, data1, data2, 120, cv::Scalar(b, g, r), current_x);
				avelen2[0] += diff;

				//時間のずれ
				diff = abs(key_x - near_x) / 30.0; // 0 ~ 30
				if (diff > 1.0) {
					diff = 1.0;
				}
				pseudoColor(diff, b, g, r);
				PutNoteData(-1, sheet_base2[1], status, data1, data2, 120, cv::Scalar(b, g, r), current_x);
				avelen2[1] += diff;

				//音程のずれ	
				diff = abs((double)key_y - (double)near_y) / 4.0; //高さのindexの差
				fprintf(stderr, "diff0 = %f\n", diff);
				if (diff > 1.0) {
					diff = 1.0;
				}
				pseudoColor(diff, b, g, r);
				PutNoteData(-1, sheet_base2[2], status, data1, data2, 120, cv::Scalar(b, g, r), current_x);
				avelen2[2] += diff;
				fprintf(stderr, "diff = %f\n", diff);
				fprintf(stderr, "hitcount = %d\n", hitcount);

				//音程と時間両方のずれ
				double diff0 = abs(key_x - near_x) / 30.0;
				double diff1 = abs((double)key_y - (double)near_y) / 4.0;
				diff = sqrt(diff0 * diff0 + diff1 * diff1) / sqrt(2.0);
				if (diff > 1.0) {
					diff = 1.0;
				}
				pseudoColor(diff, b, g, r);
				PutNoteData(-1, sheet_base2[3], status, data1, data2, 120, cv::Scalar(b, g, r), current_x);
				avelen2[3] += diff;

				ReleaseMutex(hNoteXMutex);
			}
		}
		/* MIDIメッセージを取得しなかった */
		else {
			/* スリープ処理 */
			Sleep(1);
		}
	}

	_endthreadex(0);

	return 0; //コンパイラの警告を殺す
}

これをドラムの音でも同じように楽譜に表示させたいと思うんですが、0x00を0x09に変え、スネアドラムは16進数で0x26なので、ドの0x18を0x26に変えて実行したところ、何も表示されませんでした。midiの音も鳴っていないので、midiの読み込みから失敗しているのでしょうか。ピアノの音のmidiは鳴っています。

Answer 1

statusは多分MIDIメッセージのステータスですよね？Note Onは

0x9X

で、Xはチャネル番号ですので、ドラムパートをCH#10で演奏する場合は

status = 0x99

になると思います。上のコードでは

if (status == 0x90 && data2 != 0x00)

としていますが、これは

if ((status & 0xF0) == 0x90 && data2 != 0x00)

とすべきではないでしょうか？

Comments

[zakky79]

書き換えて実行しましたが、変わらずでした。。。

[KSwordOfHaste]

元のピアノ用プログラムで音符が表示されるとすればこのくらしか思いつきませんでした。上の関数が呼び出される部分も含めて処理の流れが把握できる程度の範囲を提示すれば閲覧者が問題に気づきやすくなると思いますがいかがでしょう？

[zakky79]

音は鳴るようになりました！音符の表示がされないので、少しプログラム多めに記載します。

[KSwordOfHaste]

失礼、
この関数が呼び出されたときに引数をデバッグプリントするようにしてデバッグした方が早い気がします。

[zakky79]

すいません。デバッグプリントに関して勉強します。。。

[KSwordOfHaste]

そう難しく考えなくてもいいです。PutNote関数の先頭で引数をprintfなどで出力すればいいのです。実行すると引数の値が出力されますので、どんな引数が渡ってくるかの「事実」がわかります。その引数の値を元に自分の関数がどう動くかを考えれば原因に気づきやすくなります。またわからない場合でも引数がこうで、関数の定義がこうなっていると質問に書けば閲覧者からは原因がつかみやすくなります。

[KSwordOfHaste]

--入力ミスのため削除--

[zakky79]

もしかして、
if (status == 0x90) {
int lRet = pMIDIEvent->m_lLen;
/* MIDI出力デバイスからメッセージを送出する */
WaitForSingleObject(hGetNotesMutex, INFINITE);
MIDIOut_PutMIDIMessage(pMIDIOut, pMIDIEvent->m_pData, lRet);
for (int i = 0; i < lRet; i++) {
fprintf(stderr, "0x%02X ", pMIDIEvent->m_pData[i]);
}
printf("/ ");
ReleaseMutex(hGetNotesMutex);
}
この部分の0x%02%がおかしいんですかね？

[zakky79]

なるほど。。。参考になります！

[KSwordOfHaste]

> この部分の0x%02X

Note Onイベントの場合にlRetが3になり、m_pDataがunsigned char相当の型なら正しいと思いますよ。CH#10へA4、ベロシティー127でNote Onならこのfprintfで
0x99 0x45 0x7F
とでれば期待通りと思います。keyがA4なら＝＞69=0x45, 127=>0x7Fなので。

[zakky79]

常に0xF8と出力され電子ドラムを叩いた時に0x99 0x26 0x00と出力されます。他に音符を表示する部分で怪しいところが見当たらないです・・・

[KSwordOfHaste]

F8はMIDI機器のTiming Clockなのでそれはスルーした方がよいのでは？肝心な部分のデバッグプリントが流れちゃいます。ドラムをたたいたときにベロシティーが0になってますね。PutNoteではdata2!=0つまりベロシティーが0じゃないというのが条件になってるのでそれが原因じゃないでしょうか？お持ちのMIDIドラムの仕様なのかもですが、ベロシティー=0にしかならないパートがあるんでしょうか・・・ドラムも強弱をベロシティーへ反映されるものかと思ってましたが・・・

[zakky79]

確認したところ、0x00にならないパートもありました。
叩く強さによって0x36や0x40になることを確認しました。

[zakky79]

どのパートも叩くのが少し弱いと0x00になってしまようです。

[KSwordOfHaste]

なるほど、そういうことならドラムパートだけは0x00でも音符を表示するようコードを変更する必要がありそうですね！ナンチャッテな判定ですが、
if ((status & 0xF0) == 0x90 && data2 != 0x00)
==>
if ((status & 0xF0) == 0x90 && ((status & 0x0F) == 9 || data2 != 0x00))
のように「CH#10だけはベロシティーが0でも描画する」ように変更する必要があろうかと思います。

[KSwordOfHaste]

あ・・・でもベロシティー０で音源の方から音がでるんでしょうか（ｗ；
もし音がでないならMIDI-INから0x99 xx 0x00を受信した際にベロシティーを少し底上げするといった対処の方がよいかも知れません。

[zakky79]

0x00の時でも小さく音は鳴っています。0x99 0x00といった受信はないです。必ず0x99 0x2B 0x00といった３Byteで送られてきています。

[KSwordOfHaste]

音が鳴っているなら３つ上のif文の変更でいけそうだと思います。
> 0x99 0x00といった受信はないです。
いえ、そういう意味ではありません。0x99 xx 0x00の真ん中のxxは任意のバイトという意図でした。
0x99 0xXX 0x00と書いた方がよかったですかね。

[zakky79]

返信遅くなりすいません。結局音符の描画がうまくいきませんでした。現状まとめ、再度質問立て直します。