opencv python 画像を多角形で切り抜きたい

Question

現在uebカメラ4つで自動車についているパノラミックモニターを制作しようとしています。
opencv pythonで映像を多角形に切り出して背景の画像に合成したいです。
ポリゴンのマスクを作るなど試しましたがイマイチ分からず、切り出した多角形の周りが黒くなってしまい後ろの映像が見えなくなってしまうのも避けたいので、マスクで切り出して切り出した場所以外は透過するように作りたいです。
知識のある方よろしくお願いします。

Comments

[fana]

この文章だけを読むかぎりでは，

マスクを作ることまでができるのであれば，それを用いて「背景画像の上に，カメラ画像(?)のうちのマスク領域だけをコピーする」という処理をすれば良いだけ

……な話であるように読めるのですが，何が問題なのですか？
（そもそも　それが可能だから　マスクを作った　のですよね？　用途不明な段階でなんとなくマスクを作るという行為に向かうわけはないでしょうから）

[8524ba23]

どんな回答を求めていますか？

[zen434272]

https://www.web-dev-qa-db-ja.com/ja/python/opencv%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%97%E3%81%A6%E7%94%BB%E5%83%8F%E3%81%8B%E3%82%89%E5%87%B9%E5%A4%9A%E8%A7%92%E5%BD%A2%E3%82%92%E3%83%88%E3%83%AA%E3%83%9F%E3%83%B3%E3%82%B0%E3%81%99%E3%82%8Bpython/836552106/
このサイトを元に座標指定でしたい形にして出力まではいけました。
しかし、そこから画像をペーストで重ねると切り抜いた場所以外の外側が黒くなってしまい下の画像が見えなくなってしまっていて、その黒い部分を透明化して下の画像を見えるようにしたいです。
使えそうなソースやマスク領域だけのコピーの仕方など教えていただきたいです。

[fana]

> 切り抜いた場所以外の外側が黒くなってしまい

そのリンク先でも「白い背景」を実現しているように見えるのですが…？
それと「同じような」処理（：白い背景に重ねるためのコードを単に丸ごとコピペするのじゃなくて）を考えるのはダメなのですか？（っていうのを回答にも書きましたけど）

[zen434272]

>「同じような」処理（：白い背景に重ねるためのコードを単に丸ごとコピペするのじゃなくて）を考えるのはダメなのですか？

それがわからなかったため投稿しました。

[zen434272]

白い背景だと後ろの画像が見えるようになるのですか？

[fana]

たまたま全体が真っ白い絵があったとして　→　そこにコピーしたくない範囲が「透明」であるかのようなコピー処理をしたならば　→　結果はそこだけ白い「背景」が残るよね

っていう話自体がもう飲み込めない感じですか？

これの「全体が真っ白い絵」というのが別の画像（あなたの言う「下の画像」）だとしても同様にやれば全く同じ話になると思うのですが．

正直，ここまでのやりとりを見るに，私があなたの質問文から読み取っている「こういうことがしたいのだろう」という理解の側が間違っているのか？　という気すらしてきました．
（「何のためにどう用いるのか不明なマスクだけは作った」という現状も理解できませんし，ひょっとしたらその「マスク」というのはこちらの想像しているものとは全く異なるのかもしれません．）

現状の回答では解決しないのであれば，他者の回答を待ってください．
（互いに「何言ってるのかわからない」この状態を解消できるような気がしませんので）

[zen434272]

了解しました。

Answer 1

OpenCV なら Mat クラスに copyTo というメソッドがあると思うのですが， Python からだと使えない感じなんですか？
（私は Python から OpenCV 使ったことないので，そこらへんの事情とかわかりませんが）

仮に上記が使えないのだとしても，あなたが示した参考先を見た感じだと bitwise_and とかは普通に使えるのでしょうから，そういうのを用いて都合が良い処理を組み立てるのではダメなのですか？
Wikipedia でも説明あるみたいですが．

---

[追記]
とりあえず copyTo のサンプルを示しておく．C++だが．

※やりたいことは単にこういう話ではないのか？　と読んだのだが，違うのだろうか？
違うならば，他者からの的確な回答を得るためにはその旨が明確になるよう質問文の内容を考えた方が良いのでは．

int main()
{
    //背景画像
    cv::Mat BkImg( 200, 160, CV_8UC3 );
    for( int x=0; x<BkImg.cols; ++x )
    {//※真っ白とかだと話が分かり難い様子なので，適当な模様を描画しておく
        unsigned char R = (unsigned char)( 128 + 120 * cos( x*0.05 ) );
        unsigned char B = 255 - R;
        cv::line( BkImg, cv::Point(x,0), cv::Point(x,BkImg.rows), cv::Scalar(B,0,R) );
    }
    cv::imshow( "BkImg", BkImg );

    //前景画像
    cv::Mat ForeImg( 120, 100, CV_8UC3 );
    for( int y=0; y<ForeImg.rows; ++y )
    {//※適当に背景とは異なる模様を描画している
        unsigned char G = (unsigned char)( 128 + 120 * cos( y*0.1 ) );
        unsigned char R = 255 - G;
        unsigned char B = R / 2;
        cv::line( ForeImg, cv::Point(0,y), cv::Point(ForeImg.cols,y), cv::Scalar(B,G,R) );
    }
    cv::imshow( "ForeImg", ForeImg );

    //マスク．前景画像と同じサイズ．適当にドーナツ型を描画してある
    cv::Mat Mask = cv::Mat::zeros( ForeImg.size(), CV_8U );
    cv::circle( Mask, cv::Point( Mask.cols/2, Mask.rows/2 ), Mask.rows/3, cv::Scalar(255), -1 );
    cv::circle( Mask, cv::Point( Mask.cols/2, Mask.rows/2 ), Mask.rows/8, cv::Scalar(0), -1 );
    cv::imshow( "Mask", Mask );

    //前景画像のうち，マスクが白い範囲だけを背景画像上に描画する
    ForeImg.copyTo(
        BkImg( cv::Rect( 0,0, ForeImg.cols, ForeImg.rows ) ),   //描画対象には前景画像と同じサイズの部分領域を指定する
        Mask
    );
    cv::imshow( "Result", BkImg );
    cv::waitKey(0);
    return 0;
}

背景画像：

前景画像：

マスク：

copyTo の結果：

bit演算でやるにしても数行書けば良い（やり方はいくつかあるだろうが，以下のコードではリンクで示したwikipediaの手順にしてある）．
（マスクを３chなデータで作るのがダサい感）

//前景画像のうち，マスクが白い範囲だけを背景画像上に描画する
{//※ただしここでは Mask は 8UC3 である
    cv::Mat TgtReg = BkImg( cv::Rect( 0,0, ForeImg.cols, ForeImg.rows ) );
    cv::bitwise_and( TgtReg, ~Mask, TgtReg );

    cv::Mat Extracted;
    ForeImg.copyTo( Extracted, Mask );
    cv::bitwise_or( TgtReg, Extracted, TgtReg );
}

Comments

[fana]

念のため補足しておく：

OpenCV の Mat の copyTo で所望のことをするにはコピー元とコピー先のサイズを合わせる必要がある．
やることを想像するに，コピー先の画像バッファの方が大きかったりするのだろうから，その場合はコピー元と同じサイズの部分領域なMatをコピー先として指定する必要がある．
（サイズ違いのときに何が起こるのか？についてはリファレンスを参照のこと．その結果は所望の動作ではないであろうと想像する）

[zen434272]

copytoは角ではなく辺での指定ではなかったでしょうかよって長方形か正方形しかできないと認識しています。
bitwiseなどの使い方プログラムの作り方がわからないため質問しています。

[fana]

copyTo にマスクを指定することで「長方形」のうちのマスクで指定した範囲だけをコピーできるわけですが，それは所望の処理ではないということですか？
正直こちらには「何がわからないのか」「どこが所望の話と違うのか」がわからないのですが．

[fana]

bit演算でやりたいのであれば，その話は回答内で示したリンク先（Wikipedia）で説明されている通りにやれば良いのではないかと思うのですが，一体何が障害になっているのでしょう？

[fana]

とりあえずC++での結果だけは示しておく．
「python(numpy?)ならば別の方法で簡単にできる」みたいな話もあり得るのかもしれんが，そこは私は知らないので，OpenCV の関数を使う方法のみを示すにとどまる．

とりあえずコードは読めなくとも，コメントと結果の絵くらいを見れば，私がどのような処理を想定して回答なりを書いていたのか？という点が把握できるのではないかと思う．
で，「本件でやりたいことはそういう話ではない」ということなのであれば……
（現在の質問文を他の誰が読んでも，このような話を想定するのではないか，と思うので）もっとやりたいことを明確化するのが良かろうと思う．
その際に 必要/便利/etc であれば，この「間違っている」回答をやり玉に挙げて多少ディスってもらっても別に構わない．（「既存の回答は何故かこんな話をしているけど，そういうことじゃなくて…」だとか）

[zen434272]

ありがとうございます🙏🏻

[zen434272]

https://www.web-dev-qa-db-ja.com/ja/python/opencv%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%97%E3%81%A6%E7%94%BB%E5%83%8F%E3%81%8B%E3%82%89%E5%87%B9%E5%A4%9A%E8%A7%92%E5%BD%A2%E3%82%92%E3%83%88%E3%83%AA%E3%83%9F%E3%83%B3%E3%82%B0%E3%81%99%E3%82%8Bpython/836552106/
このサイトの1番下のコード通りに打ち込んで、そこから背景をほかの画像にしたいのですが、どこを変えればいいのかわからないです。

[zen434272]

出来れば変えたコードを教えて頂きたいです。

[fana]

既述の通り，私はpythonを全く知らないので，方法論的な部分を示すことはできても python の具体コードを示すことはできません．
なので，そこが必要であればやはり他者からの回答に期待するしかないです．

（ちょっと前までは，こういう python + OpenCV な質問は即回答が付いてた気がするんだけどなぁ）

[fana]

あなたは既に
回答内でリンクを示した wikipedia のページの「画像マスク」節のところに示されている「スプライト（左）とマスク（右）のビットマップ画像」に相当する２つの画像を持っているのだと思う：

* 前者（周りが黒い画像）は期せずして生成できている
* 後者（マスク）は存在している（手持ちのマスクと白黒が逆だったら反転すればいい）

…ので，そしたらあとは説明通りに
マスクをAND（bitwise_andでやる） → スプライトをOR（bitwise_orでやる）
みたいな処理をすれば良いだけだと思うのですが．
pythonの事情を知らない人からすると「２行くらいのコード書けば終わるのでは？」と想像するのですが，実際は何かしら難しいんですかね？