CameraX AnalysisのimageをPythonに渡して画像解析を行いたい

Question

Chaquopyをつかい、Android(Kotlin)からPythonへCameraXから取得したAnalysis Imageを渡し、OpenCVで物体検出を行ったあと、結果をAndroidに返すプログラムを考えています。

大まかな流れとしては まずCamaraX Analysisから得たImageProxyをBitmapにコピーして、それをPNGに変換した後に、BytearrayでPythonに渡します。
Pythonで解析後、解析結果をPNGに変換、それをbase64でエンコードして文字列でAndroidに返します。
あとは、文字列をデコードしたものをbitmapに変換して描写といった流れです。

以下のコードです。
Pythonの画像解析の部分は未だ適当な処理しか入れていませんが、既に動作がカクカクの状態です。
動作はするものの、処理が遅いためかCameraXからの画像が数秒遅れで渡されてきます。

Bitmapを上手くPythonに受け渡しする方法があれば良いのですが、何か良い方法はないでしょうか。
よろしくお願いいたします。

.....................
...............
.........
       preview = Preview.Builder()
                .setTargetAspectRatio(AspectRatio.RATIO_4_3)
                .setTargetRotation(fragmentCameraBinding.viewFinder.display.rotation)
                .build()

       imageAnalyzer = ImageAnalysis.Builder()
                .setTargetAspectRatio(AspectRatio.RATIO_4_3)
                .setTargetRotation(fragmentCameraBinding.viewFinder.display.rotation)
                .setBackpressureStrategy(ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST)
                .setOutputImageFormat(OUTPUT_IMAGE_FORMAT_RGBA_8888)
                .build()
                .also {
                    it.setAnalyzer(cameraExecutor) { image ->
                        if (!::bitmapBuffer.isInitialized) {
                            bitmapBuffer = Bitmap.createBitmap(
                                image.width,
                                image.height,
                                Bitmap.Config.ARGB_8888
                            )
                        }
                        detectObjects(image)
                    }
                }
        cameraProvider.unbindAll()
        try {
            camera = cameraProvider.bindToLifecycle(this, cameraSelector, preview, imageAnalyzer)

            preview?.setSurfaceProvider(fragmentCameraBinding.viewFinder.surfaceProvider)
        } catch (exc: Exception) {
            Log.e(TAG, "Use case binding failed", exc)
        }
    }

    private fun detectObjects(image: ImageProxy) {
        image.use { bitmapBuffer.copyPixelsFromBuffer(image.planes[0].buffer) }
        imageRotation = image.imageInfo.rotationDegrees

        if (!Python.isStarted()) {
                Python.start(AndroidPlatform(requireContext()))
        }
        ..........
        ...................
        ............................
        //**ここはjavaでBitmapをByteArrayに変換 
　　  * ByteArrayOutputStream baos = new ByteArrayOutputStream();
        * bitmap.compress(Bitmap.CompressFormat.PNG, 100, baos);
        * byte[] imageBytes = baos.toByteArray();　
        *//
        ............................. 
        ..................
        ...........

        var py = Python.getInstance().getModule("cv2_module")
        //* PyObjectで戻ってくる*//
        var contour_img = module.callAttr("Cv2_Module", imagerotation,  imageBytes).toString()

        "contour_imgをデコードし、Bitmapに変換ののちCanvasで描写"
    }

def Cv2_Module2(rotation,):

    np_data = np.frombuffer(byteA,np.uint8)
    img = cv2.imdecode(np_data,cv2.IMREAD_UNCHANGED)
    img_gray = cv2.cvtColor(img,cv2.COLOR_RGBA2GRAY)

    ret, thresh = cv2.threshold(img_gray, 120, 255, cv2.THRESH_BINARY)
    contours, hierarchy = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

    contourimg = cv2.drawContours(img, contours, -1, (0,255,0), 3)
    resized = cv2.resize(contourimg,dsize=(int(width*1.5), height))
    pil_im = Image.fromarray(resized)
    buff = io.BytesIO()
    pil_im.save(buff,format="PNG")
    img_str = base64.b64encode(buff.getvalue())

    return ""+str(img_str,'utf-8')

Comments

[jimbe]

Python は全く分かりませんので外しているかもしれませんが…。

Chaquopy のサイトの FAQ に以下がありました。

Python との間で画像を渡す
https://chaquo.com/chaquopy/doc/current/faq.html#faq-images

例として chaquopy-matplotlib というのがリンクされていて、そちらでは Python の画像データをバイト配列で (Base64 との変換などせず) java に戻して表示しているようです。

https://github.com/chaquo/chaquopy-matplotlib

[tajama3]

回答ありがとうございます。
そちらのURLを参考にしてみたところ、上手くいきそうです。

とても助かりました。