質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.12%
OpenCV

OpenCV(オープンソースコンピュータービジョン)は、1999年にインテルが開発・公開したオープンソースのコンピュータビジョン向けのクロスプラットフォームライブラリです。

Android

Androidは、Google社が開発したスマートフォンやタブレットなど携帯端末向けのプラットフォームです。 カーネル・ミドルウェア・ユーザーインターフェイス・ウェブブラウザ・電話帳などのアプリケーションやソフトウェアをひとつにまとめて構成。 カーネル・ライブラリ・ランタイムはほとんどがC言語/C++、アプリケーションなどはJavaSEのサブセットとAndroid環境で書かれています。

Kotlin

Kotlinは、ジェットブレインズ社のアンドリー・ブレスラフ、ドミトリー・ジェメロフが開発した、 静的型付けのオブジェクト指向プログラミング言語です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

受付中

CameraX AnalysisのimageをPythonに渡して画像解析を行いたい

Sakana4432
Sakana4432

総合スコア3

OpenCV

OpenCV(オープンソースコンピュータービジョン)は、1999年にインテルが開発・公開したオープンソースのコンピュータビジョン向けのクロスプラットフォームライブラリです。

Android

Androidは、Google社が開発したスマートフォンやタブレットなど携帯端末向けのプラットフォームです。 カーネル・ミドルウェア・ユーザーインターフェイス・ウェブブラウザ・電話帳などのアプリケーションやソフトウェアをひとつにまとめて構成。 カーネル・ライブラリ・ランタイムはほとんどがC言語/C++、アプリケーションなどはJavaSEのサブセットとAndroid環境で書かれています。

Kotlin

Kotlinは、ジェットブレインズ社のアンドリー・ブレスラフ、ドミトリー・ジェメロフが開発した、 静的型付けのオブジェクト指向プログラミング言語です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0回答

0リアクション

0クリップ

74閲覧

投稿2022/11/24 12:49

Chaquopyをつかい、Android(Kotlin)からPythonへCameraXから取得したAnalysis Imageを渡し、OpenCVで物体検出を行ったあと、結果をAndroidに返すプログラムを考えています。

大まかな流れとしては まずCamaraX Analysisから得たImageProxyをBitmapにコピーして、それをPNGに変換した後に、BytearrayでPythonに渡します。
Pythonで解析後、解析結果をPNGに変換、それをbase64でエンコードして文字列でAndroidに返します。
あとは、文字列をデコードしたものをbitmapに変換して描写といった流れです。

以下のコードです。
Pythonの画像解析の部分は未だ適当な処理しか入れていませんが、既に動作がカクカクの状態です。
動作はするものの、処理が遅いためかCameraXからの画像が数秒遅れで渡されてきます。

Bitmapを上手くPythonに受け渡しする方法があれば良いのですが、何か良い方法はないでしょうか。
よろしくお願いいたします。

Main_Activity.kt

..................... ............... ......... preview = Preview.Builder() .setTargetAspectRatio(AspectRatio.RATIO_4_3) .setTargetRotation(fragmentCameraBinding.viewFinder.display.rotation) .build() imageAnalyzer = ImageAnalysis.Builder() .setTargetAspectRatio(AspectRatio.RATIO_4_3) .setTargetRotation(fragmentCameraBinding.viewFinder.display.rotation) .setBackpressureStrategy(ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST) .setOutputImageFormat(OUTPUT_IMAGE_FORMAT_RGBA_8888) .build() .also { it.setAnalyzer(cameraExecutor) { image -> if (!::bitmapBuffer.isInitialized) { bitmapBuffer = Bitmap.createBitmap( image.width, image.height, Bitmap.Config.ARGB_8888 ) } detectObjects(image) } } cameraProvider.unbindAll() try { camera = cameraProvider.bindToLifecycle(this, cameraSelector, preview, imageAnalyzer) preview?.setSurfaceProvider(fragmentCameraBinding.viewFinder.surfaceProvider) } catch (exc: Exception) { Log.e(TAG, "Use case binding failed", exc) } } private fun detectObjects(image: ImageProxy) { image.use { bitmapBuffer.copyPixelsFromBuffer(image.planes[0].buffer) } imageRotation = image.imageInfo.rotationDegrees if (!Python.isStarted()) { Python.start(AndroidPlatform(requireContext())) } .......... ................... ............................ //**ここはjavaでBitmapをByteArrayに変換    * ByteArrayOutputStream baos = new ByteArrayOutputStream(); * bitmap.compress(Bitmap.CompressFormat.PNG, 100, baos); * byte[] imageBytes = baos.toByteArray();  *// ............................. .................. ........... var py = Python.getInstance().getModule("cv2_module") //* PyObjectで戻ってくる*// var contour_img = module.callAttr("Cv2_Module", imagerotation, imageBytes).toString() "contour_imgをデコードし、Bitmapに変換ののちCanvasで描写" }

cv2_module

def Cv2_Module2(rotation,): np_data = np.frombuffer(byteA,np.uint8) img = cv2.imdecode(np_data,cv2.IMREAD_UNCHANGED) img_gray = cv2.cvtColor(img,cv2.COLOR_RGBA2GRAY) ret, thresh = cv2.threshold(img_gray, 120, 255, cv2.THRESH_BINARY) contours, hierarchy = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) contourimg = cv2.drawContours(img, contours, -1, (0,255,0), 3) resized = cv2.resize(contourimg,dsize=(int(width*1.5), height)) pil_im = Image.fromarray(resized) buff = io.BytesIO() pil_im.save(buff,format="PNG") img_str = base64.b64encode(buff.getvalue()) return ""+str(img_str,'utf-8')

以下のような質問にはリアクションをつけましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

リアクションが多い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

jimbe

2022/11/24 17:10 編集

Python は全く分かりませんので外しているかもしれませんが…。 Chaquopy のサイトの FAQ に以下がありました。 Python との間で画像を渡す https://chaquo.com/chaquopy/doc/current/faq.html#faq-images 例として chaquopy-matplotlib というのがリンクされていて、そちらでは Python の画像データをバイト配列で (Base64 との変換などせず) java に戻して表示しているようです。 https://github.com/chaquo/chaquopy-matplotlib
Sakana4432

2022/11/24 15:58 編集

回答ありがとうございます。 そちらのURLを参考にしてみたところ、上手くいきそうです。 とても助かりました。

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.12%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

OpenCV

OpenCV(オープンソースコンピュータービジョン)は、1999年にインテルが開発・公開したオープンソースのコンピュータビジョン向けのクロスプラットフォームライブラリです。

Android

Androidは、Google社が開発したスマートフォンやタブレットなど携帯端末向けのプラットフォームです。 カーネル・ミドルウェア・ユーザーインターフェイス・ウェブブラウザ・電話帳などのアプリケーションやソフトウェアをひとつにまとめて構成。 カーネル・ライブラリ・ランタイムはほとんどがC言語/C++、アプリケーションなどはJavaSEのサブセットとAndroid環境で書かれています。

Kotlin

Kotlinは、ジェットブレインズ社のアンドリー・ブレスラフ、ドミトリー・ジェメロフが開発した、 静的型付けのオブジェクト指向プログラミング言語です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。