Android Studio(java)上のcountNonZero(OpenCV)を使用するとアプリが強制終了される

Question

#実現したいこと
Android Studio上でOpenCVを使用して
カメラからの映像を2値化(黒とそれ以外)表示して、ある矩形領域における変動する黒色の割合(ピクセル数でも可)を表示したい

#開発・実行環境
[開発]
Android Studio 4.0.1
MacBook Pro (macOS Mojave ver10.14.6)
-言語-　java

[実行]
OPPO Reno A 128GB

#発生している問題・エラーメッセージ
・黒要素とそれ以外に分けて表示する
・矩形領域を指定する
以上のことは出来たのですが

OpenCVのcountNonZeroを使用して黒のピクセル数を数えるという所で
countNonZero関数を書き込んだ時点でアプリ起動直後にアプリ強制終了が起きて
アプリを起動することが出来ません。

エラーメッセージは特になく、書き込めはするけど起動は出来ないと言った感じです。

#該当のソースコード

package com.example.line;

import androidx.annotation.NonNull;
import androidx.appcompat.app.AppCompatActivity;
import androidx.camera.core.Camera;
import androidx.camera.core.CameraSelector;
import androidx.camera.core.ImageAnalysis;
import androidx.camera.core.ImageProxy;
import androidx.camera.core.Preview;
import androidx.camera.lifecycle.ProcessCameraProvider;
import androidx.camera.view.PreviewView;
import androidx.core.app.ActivityCompat;
import androidx.core.content.ContextCompat;
import androidx.lifecycle.LifecycleOwner;

import android.Manifest;
import android.app.Activity;
import android.content.Context;
import android.content.pm.PackageManager;
import android.graphics.Bitmap;
import android.os.Bundle;
import android.util.Log;
import android.view.Surface;
import android.widget.ImageView;

import com.google.common.util.concurrent.ListenableFuture;

import org.opencv.android.Utils;
import org.opencv.core.Core;
import org.opencv.core.CvType;
import org.opencv.core.Mat;
import org.opencv.core.Point;
import org.opencv.core.Rect;
import org.opencv.core.Scalar;
import org.opencv.imgproc.Imgproc;

import java.nio.ByteBuffer;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

import static org.opencv.imgproc.Imgproc.medianBlur;

public class MainActivity extends AppCompatActivity {
    /*** Fixed values ***/
    private static final String TAG = "MyApp";
    private int REQUEST_CODE_FOR_PERMISSIONS = 1234;;
    private final String[] REQUIRED_PERMISSIONS = new String[]{"android.permission.CAMERA", "android.permission.WRITE_EXTERNAL_STORAGE"};

    /*** Views ***/
    private PreviewView previewView;
    private ImageView imageView;
    /*** For CameraX ***/
    private Camera camera = null;
    private Preview preview = null;
    private ImageAnalysis imageAnalysis = null;
    private ExecutorService cameraExecutor = Executors.newSingleThreadExecutor();

    int x;
    int y;

    static {
        System.loadLibrary("opencv_java4");
    }

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        previewView = findViewById(R.id.previewView);
        imageView = findViewById(R.id.imageView);

        if (checkPermissions()) {
            startCamera();
        } else {
            ActivityCompat.requestPermissions(this, REQUIRED_PERMISSIONS, REQUEST_CODE_FOR_PERMISSIONS);
        }
    }

    private void startCamera() {
        final ListenableFuture<ProcessCameraProvider> cameraProviderFuture = ProcessCameraProvider.getInstance(this);
        Context context = this;
        cameraProviderFuture.addListener(new Runnable() {
            @Override
            public void run() {
                try {
                    ProcessCameraProvider cameraProvider = cameraProviderFuture.get();
                    preview = new Preview.Builder().build();
                    imageAnalysis = new ImageAnalysis.Builder().build();
                    imageAnalysis.setAnalyzer(cameraExecutor, new MyImageAnalyzer());
                    CameraSelector cameraSelector = new CameraSelector.Builder().requireLensFacing(CameraSelector.LENS_FACING_BACK).build();

                    cameraProvider.unbindAll();
                    camera = cameraProvider.bindToLifecycle((LifecycleOwner)context, cameraSelector, preview, imageAnalysis);
                    preview.setSurfaceProvider(previewView.createSurfaceProvider(camera.getCameraInfo()));
                } catch(Exception e) {
                    Log.e(TAG, "[startCamera] Use case binding failed", e);
                }
            }
        }, ContextCompat.getMainExecutor(this));
    }

    private class MyImageAnalyzer implements ImageAnalysis.Analyzer {
        private Mat matPrevious = null;

        @Override
        public void analyze(@NonNull ImageProxy image) {
            /* Create cv::mat(RGB888) from image(NV21) */
            Mat matOrg = getMatFromImage(image);
            /* Fix image rotation (it looks image in PreviewView is automatically fixed by CameraX???) */
            Mat mat = fixMatRotation(matOrg);
            medianBlur(mat,mat, 5);
            //黒とそれ以外に分ける
            Imgproc.cvtColor(mat,mat, Imgproc.COLOR_RGBA2BGR);
            Imgproc.cvtColor(mat,mat, Imgproc.COLOR_BGR2HSV);
            Core.inRange(mat, new Scalar(0,0,0), new Scalar(179,128,100),mat);
            Imgproc.cvtColor(mat,mat, Imgproc.COLOR_GRAY2BGRA);
            //任意の領域をトリミングする(黒要素を数えるため)
            Rect roi = new Rect(10, 10, 100,100);
            Mat trim = new Mat(mat, roi);
            //トリミングした範囲でcountNonZeroを行い、int型のxに代入する
            x = Core.countNonZero(trim);
            //xを文字列に変換させる(putTextでは文字のみを扱っているため)
            //他に数値を表示させる方法があれば使わなくても良い
            String y = String.valueOf(x);
            //一応ログ出しとく
            Log.i(TAG, "[analyze] width = " + image.getWidth() + ", height = " + image.getHeight() + "Rotation = " + previewView.getDisplay().getRotation());
            Log.i(TAG, "[analyze] mat width = " + matOrg.cols() + ", mat height = " + matOrg.rows());
            //どこをトリミングしているか画面を見れば分かるように同じ範囲に線を引く
            Imgproc.rectangle(mat, new Rect(10, 10, 100, 100), new Scalar(255, 0, 0));
            //countNonZeroで数えたxを文字列に変えたyを代入
            Imgproc.putText(mat, y , new Point(10, 10), 1, 1, new Scalar(255, 0, 0));
            /* Convert cv::mat to bitmap for drawing */
            Bitmap bitmap = Bitmap.createBitmap(mat.cols(), mat.rows(),Bitmap.Config.ARGB_8888);
            Utils.matToBitmap(mat, bitmap);

            /* Display the result onto ImageView */
            runOnUiThread(new Runnable() {
                @Override
                public void run() {
                    imageView.setImageBitmap(bitmap);
                }
            });

            /* Close the image otherwise, this function is not called next time */
            image.close();
        }
        private Mat getMatFromImage(ImageProxy image) {
            /* https://stackoverflow.com/questions/30510928/convert-android-camera2-api-yuv-420-888-to-rgb */
            ByteBuffer yBuffer = image.getPlanes()[0].getBuffer();
            ByteBuffer uBuffer = image.getPlanes()[1].getBuffer();
            ByteBuffer vBuffer = image.getPlanes()[2].getBuffer();
            int ySize = yBuffer.remaining();
            int uSize = uBuffer.remaining();
            int vSize = vBuffer.remaining();
            byte[] nv21 = new byte[ySize + uSize + vSize];
            yBuffer.get(nv21, 0, ySize);
            vBuffer.get(nv21, ySize, vSize);
            uBuffer.get(nv21, ySize + vSize, uSize);
            Mat yuv = new Mat(image.getHeight() + image.getHeight() / 2, image.getWidth(), CvType.CV_8UC1);
            yuv.put(0, 0, nv21);
            Mat mat = new Mat();
            Imgproc.cvtColor(yuv, mat, Imgproc.COLOR_YUV2RGB_NV21, 3);
            return mat;
        }

        private Mat fixMatRotation(Mat matOrg) {
            Mat mat;
            switch (previewView.getDisplay().getRotation()){
                default:
                case Surface.ROTATION_0:
                    mat = new Mat(matOrg.cols(), matOrg.rows(), matOrg.type());
                    Core.transpose(matOrg, mat);
                    Core.flip(mat, mat, 1);
                    break;
                case Surface.ROTATION_90:
                    mat = matOrg;
                    break;
                case Surface.ROTATION_270:
                    mat = matOrg;
                    Core.flip(mat, mat, -1);
                    break;
            }
            return mat;
        }
    }

    private boolean checkPermissions(){
        for(String permission : REQUIRED_PERMISSIONS){
            if(ContextCompat.checkSelfPermission(this, permission) != PackageManager.PERMISSION_GRANTED){
                return false;
            }
        }
        return true;
    }

    @Override
    public void onRequestPermissionsResult(int requestCode, @NonNull String[] permissions, @NonNull int[] grantResults) {
//        super.onRequestPermissionsResult(requestCode, permissions, grantResults);
        if(requestCode == REQUEST_CODE_FOR_PERMISSIONS){
            if(checkPermissions()){
                startCamera();
            } else{
                Log.i(TAG, "[onRequestPermissionsResult] Failed to get permissions");
                this.finish();
            }
        }
    }
}

日本語でコメントを書いているところが現在作成中の範囲になります。

それ以外は映像をスマホに表示したり、映像方向を変換したりするために使っているので
基本的には関係ないとおもっています。

これらのプログラムから
countNonZero部分を排除したものを実行すると以下のような映像が取得できます。

したの赤い長方形の上部分に0と表示されていますがこれは
はじめにint x = 0;としているためです。

ここに、黒色の割合もしくは黒ピクセル数を表示したいと考えています。

#考えられる問題点
countNonZeroはonCreateの中のstartCamera()に記述しているので
Activity生成時にピクセル数えるのは問題があるということでしょうか？

その場合、どのように記述すれば良いのかを示していただけると大変助かります。

Comments

[hoshi-takanori]

Assertion src.channels() == 1 means that image should have 1 channel, i.e. it has to be gray, not colored. ってことで、画像データを白黒に変換する必要があるかと。
https://stackoverflow.com/questions/31231565/countnonzero-function-gives-an-assertion-error-in-opencv

ちなみに、startCamera は onCreate から (Activity 生成時に 呼ばれてますが、そこでは画像が主時できたときの処理を設定しているだけで、MyImageAnalyzer の処理自体は、実際に画像を取得した時に行われます。(ボタンクリックなどのイベントハンドラの処理がボタンを押した時に実行されるのと同様ですね。)

[NieR2B]

返答ありがとうございます。

あれから、Imgproc.cvtColor(mat,mat, Imgproc.COLOR_GRAY2BGRA);の下に
Imgproc.threshold(mat,mat,127,255,THRESH_BINARY);を書くことで
画像データを2値化しました。

しかし、Core.countNonZero(mat);を記述するとエラー落ちしていまい問題解決には至りませんでした。

[hoshi-takanori]

LogCat にエラーメッセージは出てませんか？

[NieR2B]

アプリをRunさせてから落ちるまでのLogcatのErrorを抜き出します。

2021-01-05 13:08:09.197 27755-27773/com.example.line E/libc: Access denied finding property "vendor.camera.aux.packagelist"
2021-01-05 13:08:09.208 27755-27781/com.example.line E/libc: Access denied finding property "vendor.camera.aux.packagelist"
2021-01-05 13:08:09.209 27755-27781/com.example.line E/libc: Access denied finding property "vendor.camera.aux.packagelist"
2021-01-05 13:08:09.209 27755-27781/com.example.line E/libc: Access denied finding property "vendor.camera.aux.packagelist"
2021-01-05 13:08:09.220 13718-13720/? E/rutils: releaseProcess gCount = 1
2021-01-05 13:08:09.227 27755-27781/com.example.line E/libc: Access denied finding property "vendor.camera.aux.packagelist"
2021-01-05 13:08:09.350 27755-27782/com.example.line E/libc: Access denied finding property "persist.vendor.camera.privapp.list"
2021-01-05 13:08:09.351 1130-19307/? E/CameraService: can not read file /data/.camera/RUS_camera_hardware_thirdParty.
2021-01-05 13:08:09.358 1130-19307/? E/CameraService: connectHelper: in motor_socket 0
2021-01-05 13:08:09.358 1130-19307/? E/CameraService: can not read rus file
2021-01-05 13:08:09.362 30825-2183/? E/libc: Access denied finding property "vendor.camera.aux.packagelist"
2021-01-05 13:08:09.363 30825-2183/? E/libc: Access denied finding property "vendor.camera.aux.packagelist"
2021-01-05 13:08:09.363 27755-27768/com.example.line E/libc: Access denied finding property "vendor.camera.aux.packagelist"
2021-01-05 13:08:09.364 1130-19307/? E/CameraService: onTorchStatusChangedLocked: cannot get torch status of camera 1: No such file or directory (-2)
2021-01-05 13:08:09.364 1130-19307/? E/CameraService: onTorchStatusChangedLocked: cannot get torch status of camera 2: No such file or directory (-2)
2021-01-05 13:08:09.364 27755-27768/com.example.line E/libc: Access denied finding property "vendor.camera.aux.packagelist"
2021-01-05 13:08:09.365 30825-2183/? E/libc: Access denied finding property "vendor.camera.aux.packagelist"
2021-01-05 13:08:09.366 27755-27768/com.example.line E/libc: Access denied finding property "vendor.camera.aux.packagelist"
2021-01-05 13:08:09.367 826-2118/? E/libc: Access denied finding property "ro.camera.req.fmq.size"
2021-01-05 13:08:09.367 826-2118/? E/libc: Access denied finding property "ro.camera.res.fmq.size"
2021-01-05 13:08:09.522 826-2118/? E/CHIUSECASE: ResetApertureData ResetApertureData
2021-01-05 13:08:09.522 826-2118/? E/CHIUSECASE: ResetApertureData Initialize
2021-01-05 13:08:09.524 826-2118/? E/OPFDManager: m_capMode:0, m_attr_detect_enable:1
2021-01-05 13:08:09.529 826-2118/? E/OPFDManager: m_capMode:0, m_attr_detect_enable:1
2021-01-05 13:08:09.624 826-2118/? E/libc: Access denied finding property "gsm.operator.numeric"
2021-01-05 13:08:09.638 4024-4024/? E/PhoneState: iconId is 0android.widget.ImageView{27c5ca8 G.ED..... ......I. 0,0-15,42 #7f0a0115 app:id/data_inout}
2021-01-05 13:08:09.639 4024-4024/? E/PhoneState: iconId is 0android.widget.ImageView{e8e9b54 G.ED..... ......I. 0,0-0,0 #7f0a0115 app:id/data_inout}
2021-01-05 13:08:09.720 1130-19307/? E/Camera3-Device: configureStreams: Stream 0: DataSpace override not allowed for format 0x23
2021-01-05 13:08:09.744 826-1774/? E/mm-camera-CORE: ArbitOut:CID:0,Frame:1, FPS:30.00, (Short, Safe, Long) G (19.199 19.775 19.775) ET (30000000 30000000 30000000) SensCorrF:1.00
2021-01-05 13:08:09.746 826-1774/? E/libc: Access denied finding property "gsm.operator.numeric"
2021-01-05 13:08:09.750 826-1770/? E/mm-camera-CORE: ArbitOut:CID:0,Frame:2, FPS:30.00, (Short, Safe, Long) G (19.199 19.775 19.775) ET (30000000 30000000 30000000) SensCorrF:1.00
2021-01-05 13:08:09.751 826-1770/? E/libc: Access denied finding property "gsm.operator.numeric"
2021-01-05 13:08:09.753 826-1771/? E/mm-camera-CORE: ArbitOut:CID:0,Frame:3, FPS:30.00, (Short, Safe, Long) G (19.199 19.775 19.775) ET (30000000 30000000 30000000) SensCorrF:1.00
2021-01-05 13:08:09.753 826-1771/? E/libc: Access denied finding property "gsm.operator.numeric"
2021-01-05 13:08:09.757 826-1774/? E/mm-camera-CORE: ArbitOut:CID:0,Frame:4, FPS:30.00, (Short, Safe, Long) G (19.199 19.775 19.775) ET (30000000 30000000 30000000) SensCorrF:1.00
2021-01-05 13:08:09.757 826-1774/? E/libc: Access denied finding property "gsm.operator.numeric"
2021-01-05 13:08:09.863 826-1770/? E/CamX: [ERROR][STATS_AF] pdlib_sparse_wrapper.cpp:471 pd_process_center_window() raw ==NULL, p_context->flag_lcr 1, p_context->p_input_raw 0x0
2021-01-05 13:08:09.877 826-1770/? E/mm-camera-CORE: ArbitOut:CID:0,Frame:5, FPS:30.00, (Short, Safe, Long) G (20.671 20.671 20.671) ET (30000000 30000000 30000000) SensCorrF:1.00
2021-01-05 13:08:09.887 826-1770/? E/libc: Access denied finding property "gsm.operator.numeric"
2021-01-05 13:08:09.896 826-1771/? E/CamX: [ERROR][STATS_AF] pdlib_sparse_wrapper.cpp:471 pd_process_center_window() raw ==NULL, p_context->flag_lcr 1, p_context->p_input_raw 0x0
2021-01-05 13:08:09.914 826-1774/? E/mm-camera-CORE: ArbitOut:CID:0,Frame:6, FPS:30.00, (Short, Safe, Long) G (21.608 21.608 21.608) ET (30000000 30000000 30000000) SensCorrF:1.00
2021-01-05 13:08:09.919 27755-27801/com.example.line E/cv::error(): OpenCV(4.5.0) Error: Assertion failed (cn == 1) in countNonZero, file /build/master_pack-android/opencv/modules/core/src/count_non_zero.dispatch.cpp, line 130
2021-01-05 13:08:09.920 27755-27801/com.example.line E/org.opencv.core: core::countNonZero_10() caught cv::Exception: OpenCV(4.5.0) /build/master_pack-android/opencv/modules/core/src/count_non_zero.dispatch.cpp:130: error: (-215:Assertion failed) cn == 1 in function 'countNonZero'
2021-01-05 13:08:09.923 27755-27801/com.example.line E/AndroidRuntime: FATAL EXCEPTION: pool-1-thread-1
Process: com.example.line, PID: 27755
CvException [org.opencv.core.CvException: cv::Exception: OpenCV(4.5.0) /build/master_pack-android/opencv/modules/core/src/count_non_zero.dispatch.cpp:130: error: (-215:Assertion failed) cn == 1 in function 'countNonZero'
]
at org.opencv.core.Core.countNonZero_0(Native Method)
at org.opencv.core.Core.countNonZero(Core.java:1294)
at com.example.line.MainActivity$MyImageAnalyzer.analyze(MainActivity.java:124)
at androidx.camera.core.ImageAnalysisAbstractAnalyzer.lambda$analyzeImage$0$ImageAnalysisAbstractAnalyzer(ImageAnalysisAbstractAnalyzer.java:87)
at androidx.camera.core.-$$Lambda$ImageAnalysisAbstractAnalyzer$V6Gtux2-h8spda8vf4wFnIZntYI.run(Unknown Source:8)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1167)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:641)
at java.lang.Thread.run(Thread.java:764)
2021-01-05 13:08:09.929 826-1771/? E/CamX: [ERROR][STATS_AF] pdlib_sparse_wrapper.cpp:471 pd_process_center_window() raw ==NULL, p_context->flag_lcr 1, p_context->p_input_raw 0x0
2021-01-05 13:08:09.932 826-1774/? E/libc: Access denied finding property "gsm.operator.numeric"
2021-01-05 13:08:09.951 826-1771/? E/mm-camera-CORE: ArbitOut:CID:0,Frame:7, FPS:30.00, (Short, Safe, Long) G (22.588 22.588 22.588) ET (30000000 30000000 30000000) SensCorrF:1.00
2021-01-05 13:08:09.962 826-1771/? E/libc: Access denied finding property "gsm.operator.numeric"
2021-01-05 13:08:09.963 826-1774/? E/CamX: [ERROR][STATS_AF] pdlib_sparse_wrapper.cpp:471 pd_process_center_window() raw ==NULL, p_context->flag_lcr 1, p_context->p_input_raw 0x0
2021-01-05 13:08:09.983 826-1772/? E/mm-camera-CORE: ArbitOut:CID:0,Frame:8, FPS:30.00, (Short, Safe, Long) G (22.588 22.588 22.588) ET (30000000 30000000 30000000) SensCorrF:1.00
以上です。

↓↓この文が他と違う記述だったので何か関係があるのでしょうか？↓↓
2021-01-05 13:08:09.923 27755-27801/com.example.line E/AndroidRuntime: FATAL EXCEPTION: pool-1-thread-1
Process: com.example.line, PID: 27755
CvException [org.opencv.core.CvException: cv::Exception: OpenCV(4.5.0) /build/master_pack-android/opencv/modules/core/src/count_non_zero.dispatch.cpp:130: error: (-215:Assertion failed) cn == 1 in function 'countNonZero'
]
at org.opencv.core.Core.countNonZero_0(Native Method)
at org.opencv.core.Core.countNonZero(Core.java:1294)
at com.example.line.MainActivity$MyImageAnalyzer.analyze(MainActivity.java:124)
at androidx.camera.core.ImageAnalysisAbstractAnalyzer.lambda$analyzeImage$0$ImageAnalysisAbstractAnalyzer(ImageAnalysisAbstractAnalyzer.java:87)
at androidx.camera.core.-$$Lambda$ImageAnalysisAbstractAnalyzer$V6Gtux2-h8spda8vf4wFnIZntYI.run(Unknown Source:8)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1167)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:641)
at java.lang.Thread.run(Thread.java:764)

無駄なところまで書き出している可能性があります。
Logcatはあまり理解が出来ていないので何卒ご教授ください。

[hoshi-takanori]

Core.inRange の結果がすでに白黒のようなので、次の Imgproc.cvtColor(mat,mat, Imgproc.COLOR_GRAY2BGRA); が不要かもです。

[NieR2B]

出来ました！！

白黒データになったのをグレースケル化していたので映像は白黒なのにcountNonZero出来ない
という事態がおきていたようです。

Core.inRange(mat, new Scalar(0,0,0), new Scalar(179,128,100),mat);
Rect roi = new Rect(100, 100, 100,100);
Mat trim = new Mat(mat, roi);
int x = Core.countNonZero(trim);
これで指定した領域の黒ピクセルを数えることが出来ました。

>hoshi-takanoriさん
ベストアンサーに選びたいので回答の方に何か書いてもらえませんか？

Answer 1

Core.inRange で白黒 2 値化したものをわざわざ BGRA にしてから Core.countNonZero を呼んでますが、Core.countNonZero の入力は白黒 (グレー？) なので、BGRA にする必要はないようです。

             Core.inRange(mat, new Scalar(0,0,0), new Scalar(179,128,100),mat);
-            Imgproc.cvtColor(mat,mat, Imgproc.COLOR_GRAY2BGRA);
             //任意の領域をトリミングする(黒要素を数えるため)
             Rect roi = new Rect(10, 10, 100,100);
             Mat trim = new Mat(mat, roi);
             //トリミングした範囲でcountNonZeroを行い、int型のxに代入する
             x = Core.countNonZero(trim);

ちなみに、Core.inRange のドキュメント には

That is, dst (I) is set to 255 (all 1 -bits) if src (I) is within the specified 1D, 2D, 3D, ... box and 0 otherwise.

dst - output array of the same size as src and CV_8U type.

とありますので、結果は CV_8U (= CV_8UC1) つまり符号なし 8 ビット * 1 チャンネル (値は 0 か 255) になり、Core.countNonZero のドキュメント には

src - single-channel array. SEE: mean, meanStdDev, norm, minMaxLoc, calcCovarMatrix

とあるので 1 チャンネル (白黒 or グレー) の値を期待していることになりますが、Imgproc.COLOR_GRAY2BGRA していたのでその結果は 4 チャンネルになってたはず。

参考: cv::Matの基本処理 - OpenCV-CookBook

Comments

[NieR2B]

詳しい解説ありがとうございます。

これでまた一歩先に進むことが出来ます（＾_＾）