Matをトリミングしようとするとエラーが発生してしまう。

Question

実現したいこと

以前に質問させていただいた内容１
以前に質問させていただいた内容２
と同じように、OpenCVのプレビューを指定範囲でトリミングする処理を、MainActivityで実装したいです。

わからないこと

これまでと同じ方法で、「Mat(Mat!, Rect!)」関数を使用して指定した矩形範囲でMatをトリミングしたいのですが、Mat()関数の部分でエラーが出てしまいます。
これまで実装した内容と比較してどこが問題なのかが分からない状態です。

エラー内容

None of the following functions can be called with the arguments supplied.
<init>(IntArray!, Int) defined in org.opencv.core.Mat
<init>(Mat!, Array<(out) Range!>!) defined in org.opencv.core.Mat
<init>(Mat!, Range!) defined in org.opencv.core.Mat
<init>(Mat!, Rect!) defined in org.opencv.core.Mat
<init>(Size!, Int) defined in org.opencv.core.Mat

内容としては、「以下の関数はいずれも、指定された引数では呼び出すことができません。」となっています。
現在のコードでは引数をMatとRectで指定しているはずなのですが、なぜか上記のエラーが出てしまいます。

MainActivity.kt

import ...

private var trimLeft = 0
private var trimTop  = 0
private var trimRight  = 100
private var trimBottom = 100
private var mMat: Mat? = null
private var mMatChange: Mat? = null
private var mMatTrim: Mat? = null
private var trimArea: Rect? = null
private var newBitmap: Bitmap? = null

class MainActivity : AppCompatActivity(), CvCameraViewListener2 {
    // カメラの設定
    private var mOpenCvCameraView: CameraBridgeViewBase? = null

    override fun onStart() {
        super.onStart()
        var havePermission = true
        if (checkSelfPermission(Manifest.permission.CAMERA) != PackageManager.PERMISSION_GRANTED) {
            requestPermissions(
                arrayOf(Manifest.permission.CAMERA),
                CAMERA_PERMISSION_REQUEST_CODE
            )
            havePermission = false
        }
        if (havePermission) {
            mOpenCvCameraView!!.setCameraPermissionGranted()
        }
    }

    @TargetApi(Build.VERSION_CODES.M)
    override fun onRequestPermissionsResult(
        requestCode: Int,
        permissions: Array<String>,
        grantResults: IntArray
    ) {
        if (requestCode == CAMERA_PERMISSION_REQUEST_CODE && grantResults.size > 0 && grantResults[0] == PackageManager.PERMISSION_GRANTED) {
            mOpenCvCameraView!!.setCameraPermissionGranted()
        }
        super.onRequestPermissionsResult(requestCode, permissions, grantResults)
    }

    @SuppressLint("ClickableViewAccessibility")
    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_main)

        val textLeft: TextView = findViewById(R.id.txtRectLeft)
        val textTop: TextView = findViewById(R.id.txtRectTop)
        val textRight: TextView = findViewById(R.id.txtRectRight)
        val textBottom: TextView = findViewById(R.id.txtRectBottom)
        val trimView = findViewById<TrimView>(R.id.trim_view)

        // 矩形のサイズをテキストに変換してxmlに反映する
        trimView.setOnActionUpListener { rect: Rect ->
            val strLeft = """${rect.left}""".trimIndent()
            val strTop = """${rect.top}""".trimIndent()
            val strRight = """${rect.right}""".trimIndent()
            val strBottom = """${rect.bottom}""".trimIndent()
            // 矩形のサイズをxmlに反映
            textLeft.text = strLeft
            textTop.text  = strTop
            textRight.text  = strRight
            textBottom.text = strBottom
        }

        // ボタンを押したらゲーム画面へ
        val btnStart :Button = findViewById(R.id.btnStart) // Viewの取得
        btnStart.setOnClickListener {
            val intent = Intent(this,GamePlayActivity::class.java) // 遷移元と遷移先の設定
            // 矩形の情報を受け渡す
            intent.putExtra("RECT_LEFT",textLeft.text.toString())
            intent.putExtra("RECT_TOP",textTop.text.toString())
            intent.putExtra("RECT_RIGHT",textRight.text.toString())
            intent.putExtra("RECT_BOTTOM",textBottom.text.toString())
            startActivity(intent) // 遷移の実行
        }

        ...

        // OpenCVの設定
        ...
    }

    public override fun onResume() {
        super.onResume()
        mOpenCvCameraView!!.enableView()
    }

    public override fun onDestroy() {
        super.onDestroy()
        if (mOpenCvCameraView != null) mOpenCvCameraView!!.disableView()
    }

    override fun onCameraViewStarted(width: Int, height: Int) {
        mMatChange = Mat(height, width, CvType.CV_8UC4)
    }

    override fun onCameraViewStopped() {
        mMatChange?.release()
    }

    private fun detectOrange(img:Mat):Boolean {
        Core.inRange(img, Scalar(5.0, 100.0, 100.0), Scalar(15.0, 255.0, 255.0), img)
        return compareContourOrange(detectContour(img))
    }

    private fun detectContour(img:Mat): Int { // 輪郭の情報を取得
        ...
        return contours.size
    }

    private fun compareContourOrange(size:Int):Boolean { // 取得したオレンジ色の輪郭サイズを比較
        val maxarea = 20.0
        if(size > maxarea){
            ...
            return true
        }
        else {
            return false
        }
    }

    override fun onCameraFrame(inputFrame: CameraBridgeViewBase.CvCameraViewFrame): Mat? {
        mMat = inputFrame.rgba()
        Imgproc.cvtColor(mMat, mMatChange, Imgproc.COLOR_RGBA2BGR)
        Imgproc.cvtColor(mMatChange, mMatChange, Imgproc.COLOR_BGR2HSV)

        trimArea = Rect(trimLeft, trimTop, trimRight, trimBottom) // トリミング範囲指定
        mMatTrim = Mat(mMatChange, trimArea) // トリミング
//        mMatTrim = mMatChange
        // オレンジ色の輪郭面積に応じた処理を実行
        detectOrange(mMatTrim!!)

        newBitmap = Bitmap.createBitmap(mMatTrim!!.width(), mMatTrim!!.height(), Bitmap.Config.ARGB_8888)
        Utils.matToBitmap(mMatTrim, newBitmap)
        return mMat
    }

    // カメラのパーミッション
    companion object {
        ...
    }
}

該当箇所

    override fun onCameraFrame(inputFrame: CameraBridgeViewBase.CvCameraViewFrame): Mat? {
        mMat = inputFrame.rgba()
        Imgproc.cvtColor(mMat, mMatChange, Imgproc.COLOR_RGBA2BGR)
        Imgproc.cvtColor(mMatChange, mMatChange, Imgproc.COLOR_BGR2HSV)

        trimArea = Rect(trimLeft, trimTop, trimRight, trimBottom)
//        trimArea = Rect(0, 0, 200, 200) // トリミング範囲指定テスト
        mMatTrim = Mat(mMatChange, trimArea) // トリミング
//        mMatTrim = mMatChange // 引数mMatChangeがMat型であることのテスト
        
        detectOrange(mMatTrim!!)

        newBitmap = Bitmap.createBitmap(mMatTrim!!.width(), mMatTrim!!.height(), Bitmap.Config.ARGB_8888)
        Utils.matToBitmap(mMatTrim, newBitmap)
        return mMat
    }

trimAreaはRect型で宣言しています。
変数の値に問題があるのかと思い直接値を設定してもみましたが（コメントアウトの部分）、エラーは解消されませんでした。

そのため、mMatChange変数に問題があると思い、変数がMat型であるかどうか確認するために、Mat型を引数にとる「detectOrange()」関数に値を渡してみましたが、問題なくOpenCVの処理が実行されました。
つまり、mMatChange変数もMat型が指定されていると思われます。

また、別のActivityで同じようにトリミングの処理を実装してみましたが、そちらでは問題なくトリミングしたエリアに対してOpenCVの処理が実行されていました。

GamePlayActivity.kt

package jp.gr.java_conf.coskx.targetinggame

import ...

private var ...

class GamePlayActivity: Activity(), CvCameraViewListener2 {
    // カメラの設定
    private var mOpenCvCameraView: CameraBridgeViewBase? = null

    override fun onStart() {
        ...
    }

    @TargetApi(Build.VERSION_CODES.M)
    override fun onRequestPermissionsResult(
        ...
    ) {
        ...
    }

    @RequiresApi(Build.VERSION_CODES.R)
    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_game_play)

        // 遷移前のactivityから値を受け取る
        trimLeft   = intent.getStringExtra("RECT_LEFT")!!.toInt()
        trimTop    = intent.getStringExtra("RECT_TOP")!!.toInt()
        trimRight  = intent.getStringExtra("RECT_RIGHT")!!.toInt()
        trimBottom = intent.getStringExtra("RECT_BOTTOM")!!.toInt()

        val view = findViewById<View>(R.id.view)
        view.post {
            // MainActivityで取得したbitmap単位での値をMat用に変換する
            ...
        }

        // OpenCVの設定
        System.loadLibrary("opencv_java4")
        mOpenCvCameraView = findViewById<View>(R.id.camera_view) as CameraBridgeViewBase
        mOpenCvCameraView!!.setCvCameraViewListener(this)
        mOpenCvCameraView!!.setMaxFrameSize(960, 720)
    }

    public override fun onResume() {
        super.onResume()
        mOpenCvCameraView!!.enableView()
    }

    public override fun onDestroy() {
        super.onDestroy()
        if (mOpenCvCameraView != null) mOpenCvCameraView!!.disableView()
    }

    override fun onCameraViewStarted(width: Int, height: Int) {
        mMatChange = Mat(height, width, CvType.CV_8UC4)
    }
    override fun onCameraViewStopped() {
        mMatChange?.release()
    }

    private fun detectOrange(img:Mat):Boolean {
        Core.inRange(img, Scalar(5.0, 100.0, 100.0), Scalar(15.0, 255.0, 255.0), img)
        // オレンジ色の輪郭の面積に応じた処理を実行
        return compareContourGreen(detectContour(img))
    }

    private fun detectContour(img:Mat): Int { // 輪郭の情報を取得
        ...
        return contours.size
    }

    private fun compareContourGreen(size:Int):Boolean {
        val maxarea = 20.0
        if(size > maxarea){
            ...
            return true
        }
        else {
            return false
        }
    }

    override fun onCameraFrame(inputFrame: CameraBridgeViewBase.CvCameraViewFrame): Mat? {
        mMat = inputFrame.rgba()
        Imgproc.cvtColor(mMat, mMatChange, Imgproc.COLOR_RGBA2BGR)
        Imgproc.cvtColor(mMatChange, mMatChange, Imgproc.COLOR_BGR2HSV)

        trimArea = Rect(trimLeft, trimTop, trimRight, trimBottom)
        mMatTrim = Mat(mMatChange, trimArea) // トリミング

        detectOrange(mMatTrim!!)

        newBitmap = Bitmap.createBitmap(mMatTrim!!.width(), mMatTrim!!.height(), Bitmap.Config.ARGB_8888)
        Utils.matToBitmap(mMatTrim, newBitmap) 
        return mMat
    }

    // カメラのパーミッション
    companion object {
        ...
    }
}

2つのコードの相違点を比較してみたのですが、現状原因がわかっていない状態です。

Comments

[hoshi-takanori]

Rect の import はどうなってますか？

[jimbe]

つまり、 "Rect" というクラスは、org.opencv.core パッケージと android.graphics パッケージに存在します。同じ名前で使い方が同じでも、パッケージが違えば異なるクラスです。
Mat の第2引数は org.opencv.core.Rect のはずですが、 trimArea はどちらの Rect でしょうか。

[m-mega]

ご回答いただきありがとうございます。
MainActivityで使用しているRectは、「import android.graphics.Rect」で宣言しております。
そのため、ご指摘の通り別パッケージの別クラスを呼び出してしまっているようです。
Rectの宣言の際に、型を「org.opencv.core.Rect」と指定してみます。
ありがとうございます。一度試してみます。

[m-mega]

上記の通り修正を加えることで、問題なくRectでトリミングを行うことができました。
ご回答いただき誠にありがとうございました！

Answer 1

※すいません、このご質問とは直接関係ありません。
MainActivity以外のクラスからfindViewByIdを実行する方法からの続き的な件です。

TrimView で設定された矩形を MainActivity で得て GamePlayActivity に渡す過程で、テキストビューに値を表示する為に setOnActionUpListener というのを作って…という回答をしましたが、表示は(必要であれば)そのままとしまして、本件のように表示とは関係無い(スタートボタンを押した)タイミングで GamePlayActivity へその矩形を渡すに至っては、テキストビューから間接的に得るよりも直接 TrimView から得て、しかも Rect をそのまま Intent に入れて送ってしまったほうが良いように思います。

TrimView

  private Rect rect; //android.graphics.Rect
  Rect getRect() { return rect; } //ゲッター

MainActivity(スタートボタン押下時処理)

      Intent intent = new Intent(this, GamePlayActivity.class);
      // 矩形の情報を受け渡す
      intent.putExtra("RECT", trimView.getRect());
      startActivity(intent);

GamePlayActivity(onCreate でのパラメータ受け取り)

  private android.graphics.Rect trimRect; //パッケージに注意
  //...
  public void onCreate(Bundle savedInstanceState) {
    //...
    // 遷移前のactivityから値を受け取る
    trimRect = getIntent().getParcelableExtra("RECT");
    //以後は必要な場所で trimRect.top 等で個々の値を得られる

また、 MainActivity から受け取った Rect の情報は trimArea になるしか無いのであれば(そして他で trimArea が更新されないのであれば)、 onCreate メソッド内で即 trimArea を作ってしまえば trimRect をフィールドとして持つ必要がありません。

inport org.opencv.core.Rect; //既存
//...
  private Rect trimArea; //既存
  //...
  public void onCreate(Bundle savedInstanceState) {
    //...
    // 遷移前のactivityから値を受け取る
    android.graphics.Rect trimRect = getIntent().getParcelableExtra("RECT");
    trimArea = new Rect(trimRect.left, trimRect.top, trimRect.right, trimRect.bottom);