OpenCVによる行列と行の演算

Question

OpenCVにて行列と行の演算メソッドを教えてください。
現在はV342を使用してポインタ演算にて処理を行っていますが、処理高速化の為OpenCVでのメソッドを探しています。
行列のbaseMat(CV_8U)の各行にオーバーフローを起こさないように行revisionMat(CV_32F)をかけ合わせたいです。
最も近いのがMat::mul()ですがサイズ不一致で使用できません。
newMat = baseMat.mul(ravisionMat);
領域分割や同サイズのrevisionMat等を使用するのではなく、すっきり数行程度で記述する方法は無いでしょうか？

//補正
PBYTE inData = baseMat.data;
PBYTE outData = newMat.data;
for (int y = 0; y < baseMat.rows; y++)
{
	PFLOAT fData = (PFLOAT)revisionMat.data;
	for (int x = 0; x < baseMat.cols; x++)
	{
		int ans = (int)((float)*(inData++) * *(fData++));
		if (0xff < ans)
			ans = 0xff;
		else if (ans < 0)
			ans = 0;
		*(outData++) = ans;
	}
}

説明が分かりづらくすみません。
具体的には下記、行列と行の要素同士の積が得たいです。

行列
[154, 201, 172 ;
164, 192, 168;
156, 198, 172]

行
[1.26, 1,01; 1.17]

結果行列
[194, 204, 201;
207, 194, 196;
197, 201, 201]

Comments

[yominet]

サイズの不一致ということは、
例えば、
「３ｘ３行列に、４ｘ４行列のうちのどこかしらの3x3の部分だけかけたい」
ということでしょうか？

[Zin]

質問が分かりにくくすみませんm(__)m
3×３の行列に3×１の行を各行に積算したいという趣旨です。
行列積ではなく、行列の要素同士の積というか…行列と行の要素同士の積なのでMat::mul()が近いと思っています。

Answer 1

tiitoi さんコメントと同意見ですが、速度を重視するならば質問中コードで十分かと思います。

現在はV342を使用してポインタ演算にて処理を行っていますが、処理高速化の為OpenCVでのメソッドを探しています。
すっきり数行程度で記述する方法は無いでしょうか？

C++プログラムにおける OpenCV の利用メリットは、高速にデータ処理するというより、呼出側コードが簡潔になることです。一般論として、プログラムの簡潔さと処理効率・実行速度はトレードオフの関係になりがちです。

今回のユースケースには適合しないと思いますが、OpenCV 4.0で追加された Graph API(G-API) は機能利便性と実行効率改善の両立を狙ったものです。

---

実際のデータが現在200000行1400列となっているためコストを懸念しています。

質問中にあるコードよりもさらなる高速化が必須であれば、A) intrinsic関数によるSIMD演算や、B) cv::parallel_for_によるマルチスレッド処理も検討してみてください。

質問文中にあるような演算であれば、A)SIMD化の効果は大きいと思います（がプログラミング難易度はそれなりに高いです）。マルチコア環境であれば B)マルチスレッド化でも高速化が見込めるかもしれません（演算自体がかなり"軽い"部類のため、スレッド並列処理により逆に遅くなってしまうリスクは認識しておいてください）

Comments

[Zin]

OpenCV4.0が出てたんですね（・□・；）
元々マルチスレッド化は予定にありましたがGraphAPIやSIMD等知らない技術が知れて大変参考になりました。
ありがとうございます。

Answer 2

CV_8U の行列を一旦 CV_32F にキャストして、CV_32F 同士の行列積を計算し、再度 CV_8U に戻せばいいのではないでしょうか？

型の変換は以下で行えます。

void Mat::convertTo(OutputArray m, int rtype) const

#include <opencv2/opencv.hpp>


int main()
{
    cv::Mat mat1 = (cv::Mat_<uint8_t>(3, 3)
                   << 100, 120, 130,
                      140, 150, 160,
                      170, 180, 190);
    cv::Mat mat2 = (cv::Mat_<float>(3, 3)
                   << 0.11, 0.12, 0.13,
                      0.11, 0.12, 0.13,
                      0.11, 0.12, 0.13);

    // uint8 -> float
    mat1.convertTo(mat1, CV_32FC1);

    cv::Mat ret = mat1 * mat2;
    std::cout << ret << std::endl;
    
    // float -> uint8
    ret.convertTo(ret, CV_8UC1);
    std::cout << ret << std::endl;
}

[38.5, 42, 45.5;
 49.5, 54, 58.499996;
 59.400002, 64.800003, 70.199997]
[ 38,  42,  46;
  50,  54,  58;
  59,  65,  70]

Comments

[Zin]

実はこのパターンは想定していまして…
実際のデータが現在200000行1400列となっているためコストを懸念しています。
演算結果はほぼあっており、行列積というべきか行列と行の要素同士の積なので演算子をMat::mul()にすることで想定通りの結果になります。
説明が悪くすみません。
[11, 14.4, 16.9;
15.4, 18, 20.799999;
18.700001, 21.6, 24.699999]
[ 11, 14, 17;
15, 18, 21;
19, 22, 25]
実際に組み込んでみましたが、元の処理で0.5sec、組み込んだもので3secとなります。
行を配列にする等でconvertせずに処理できないものでしょうか？

[tiitoi]

行列積でなく、要素ごとの積でしたか。
(M, N) 行列に (N,) ベクトルを行方向は同じ値を使うようにし (M, N) とし、要素ごとの積を計算し、uint8 に収まるようにクリップするということですね。
形状の異なる配列同士をこのように同じ形状にした上で計算する処理をブロードキャスト (broadcast) といいます。Python の numpy で使われてますが、cv::Mat にそのような機能はないので、for で回して計算するしかないと思いますし、それが一番はやいでしょう。

> すっきり数行程度で記述する方法は無いでしょうか？
なので、質問の回答としては for 文で配列の要素にアクセスしならがら自分で計算する必要があり、数行でかけるような関数は OpenCV にはありません。

ちなみに cv::Mat の要素にアクセスする場合はポインタで直接アクセスするのが最速です。

https://qiita.com/hmichu/items/0a399d9e3bbf3a2a4454

[Zin]

なるほど…ありませんでしたか…orz
行列の要素同士の積やスケーリングなどを見て、行列と行の要素同士の積もあるのではないかと期待していました。
わざわざサンプルまで書いていただき感謝に耐えません。
どうもありがとうございましたm(__)m