opencvで検出した直線と描画した直線の交点を求めたい

Question

前提・実現したいこと

opencvで検出した直線と描画した直線の交点を求めようと二つの直線のポインタを配列に入れて、それらを使って交点を計算し、表示したいのですが交点がない場合をうまく区別できていないため描画するときにエラーが起こってしまいます。交点のみをうまくとるにはどうしたらよいでしょうか。
お願いいたします。

該当のソースコード

　　　　　　//認識した直線の描画　　　
          Mat bmpmat2 = new Mat();
          Utils.bitmapToMat(bmp, bmpmat2);
          double[] data2;
          Point pt12 = new Point();
          Point pt22 = new Point();
          int rows2 = dst.rows();
          double[][] lineData = new double[4][rows2];
           for (int i = 0; i < rows2; i++) {

                data2 = dst.get(i, 0);
                pt12.x = data2[0];
                pt12.y = data2[1];
                pt22.x = data2[2];
                pt22.y = data2[3];
                Imgproc.line(bmpmat2, pt12, pt22, new Scalar(255, 0, 0), 1);
                  lineData[0][i] = pt12.x;
                  lineData[1][i] = pt12.y;
                  lineData[2][i] = pt22.x;
                  lineData[3][i] = pt22.y;
                                }
                  //垂線の描画
                  int rows =bmpmat.rows();
                  int  cols = bmpmat.cols();
                  double[][] lineData2 = new double[4][rows2];
                  for(int i=1 ; i<8 ; i++) {

  Imgproc.line(bmpmat2, new Point(cols*i/8, 0), new Point(cols*i/8, rows), new Scalar(255, 0, 0), 1);
                           lineData[0][i-1] = cols*i/8;
                           lineData[1][i-1] = 0;
                           lineData[2][i-1] = cols*i/8;
                           lineData[3][i-1] = rows;
                                }

                 //交点の座標を求める
             Point[] xpoint = new Point[8*rows2];
             int pcon=0;
             double a1,a2,x1,x2,x3,x4,y1,y2,y3,y4,x,y;

             for(int i=0 ; i<rows2 ; i++) {
                x1=lineData[0][i];
                x2=lineData[2][i];
                y1=lineData[1][i];
                y2=lineData[3][i];

                    for(int j=0 ; j<8 ; j++){

                     x3=lineData2[0][j];
                     x4=lineData2[2][j];
                     y3=lineData2[1][j];
                     y4=lineData2[3][j];
                     a1 = (y2-y1)/(x2-x1);
                     a2 = (y4-y3)/(x4-x3);

                     x = (a1*x1-y1-a2*x3+y3)/(a1-a2);
                     y = (y2-y1)/(x2-x1)*(x-x1)+y1;


                     xpoint[pcon]=new Point(x,y);
           }
        }


                         Imgproc.circle(bmpmat2, xpoint[50],2,new Scalar(0,255,0),-1);

実行画面

![実行画面]
赤の横線と縦線の交点を求め五線譜の座標を求めようと思っています。
よろしくお願いいたします。

Comments

[退会済みユーザー]

一応
歌詞の掲載利用にも JASRAC 等の関係団体の許諾が必要になります。
著作権の失効している曲、もともとない曲等に差し替えましょう。

[tukim]

ご指摘ありがとうございます。
そうですよね、失念していました。
違うものに変えておきます。
ありがとうございます。

Answer 1

この話の場合，「縦線」と「横線」は直交していると見なせそうな題材に思えますので，
「横線」群の検出結果（と，必要なら「縦線」群の検出結果も）を用いて，
それぞれの線の方向を示すベクトルを決めてしまうと楽なのではないでしょうか．

すなわち，この「楽譜の上での縦横」を２軸とする"楽譜座標系"を定めて，
諸々の画像ピクセル座標系の値をその"楽譜座標系"での値に読み替えて
"楽譜座標系"の上で処理を行うと楽なのでは？と．

「座標軸に平行な縦線と横線」の交点なら，考えやすいでしょう．

Comments

[tukim]

回答ありがとうございます。自分の理解力の問題で申し訳ないのですが縦線横線のうちから二本選んでそれをｘ、ｙ軸にするということであっていますか？
また、横線群は
Imgproc.HoughLinesP(bin, linesMat, 1d, Math.PI / 360d, 200, 200d, 23);
で取得したもので　https://qiita.com/Anadreline/items/4cf6e88c743a65b7da2c　こちらを参考にしており、つながっていない多くの線のつながりなのですがどのようにベクトルを決めればよいのでしょうか。linesMatがベクトルなのはわかるのですがノイズもありうまくやる方法が分かりません。

[fana]

提示画像を見る感じ，それほどノイズがどうとか，向きにバラつきがあるとかいう雰囲気にも見えないですし，また，パースが付いているとかそういう絵でもなさそうです．
赤色で示された横線群は相応に「五線に沿う，互いに平行な」形で得られているのだろうと思います．

なので，横向き（五線に沿った）方向のベクトルというのは…
例えば，検出した横線群の中で「長いやつ」上位数本を選んでそれらの向きの平均とかで出してしまっても良いように思います．

縦方向のベクトルは…
画像の縦線の像を使わずとも，簡単に，「上記で求めた横方向ベクトルに垂直なベクトル」としてもＯＫかもしれません．

[tukim]

返信が遅れてしまい申し訳ございません。色々試していたところ別のエラーが出てしまい解決に手こずってしまいました。

分かりやすく説明していただきありがとうございます。
何とかうまくできそうです！ありがとうございます！

Answer 2

（既存回答とは別の方向性の話なので，別回答として分けます）

横線群　と　縦線群　が検出されているとき…

元画像と同じサイズの画像バッファを２つ用意し，（どちらのバッファも全画素の画素値を0で初期化されているとして）

• バッファ１には，横線群だけを（非0な画素値で)描画する
• バッファ２には，縦線群だけを（↑と同じ画素値で）描画する

で，両者のANDを取れば，（精度は[pixel]レベルですが）交点だけが残ったマスクが作れます．

＃線を描くときの幅は，少し太くしないと交点が取れない場合がある
＃特定の線だけを描画して行えば，特定の線群の間の交点だけを見つけることも可能

Comments

[tukim]

}新しい画像バッファをつくるために
BufferedImage img = new BufferedImage(120, 40, BufferedImage.TYPE_3BYTE_BGR);
をしたのですが BufferedImageがエラーになってしまいインポートもできませんでした。今は使えないのでしょうか？
またMatの初期化を　http://ya-yuki.hatenablog.com/entry/2015/06/04/190000　を参考に書こうと思ったのですがinit.data[y * init.cols + x] = 0;　のjavaでのMat操作が分かりませんでした。