Kotlin Android camera2のプレビュー表示でopenCVを噛ませたい

Question

実現したいこと

Kotlinでcamera2APIを使って、最終的にはリアルタイムトラッキングをしたいと考えているのですが、それ以前にプレビュー表示においてグレイスケールに変換して表示したりだとか、Canny法によるエッジ検出した映像を出力したいのです。
つまり、SurfaceViewあるいはTextureViewに非同期で加工したカメラのプレビュー映像を表示したいのですが、どのようにプレビュー映像からフレーム単位で画像を取得して、加工して、SurfaceViewあるいはTextureViewに表示すればいいのかわからないです。
Android開発に関して全くの初心者なので当たり前のことがわかってないことが多いですが、ご教示願います。

Cameraクラスのソースコード

現在のappはフルスクリーンでプレビュー表示をするのみのものとなっています。
ここではCameraのクラスを示します。

package com.example.user.cvcamera

import android.annotation.SuppressLint
import android.app.Activity
import android.content.Context
import android.graphics.SurfaceTexture
import android.hardware.camera2.*
import android.hardware.camera2.params.StreamConfigurationMap
import android.os.Handler
import android.os.HandlerThread
import android.util.Log
import android.util.Size
import android.view.Surface
import android.view.TextureView
import java.util.*

class Camera(activity: Activity, textureView: TextureView) {
    private var mCamera : CameraDevice? = null
    var mTextureView : TextureView? = textureView
    private var mCameraSize : Size? = null
    private var mPreviewBuilder : CaptureRequest.Builder? = null
    var mPreviewSession : CameraCaptureSession? = null
    private val mActivity = activity

    private val mCameraDeviceCallback = object : CameraDevice.StateCallback() {
        override fun onOpened(camera: CameraDevice?) {
            mCamera = camera
            createCaptureSession()
        }

        override fun onDisconnected(camera: CameraDevice?) {
            Log.d("debug", "Disconnected")
            camera?.close()
            mCamera = null
        }

        override fun onError(camera: CameraDevice?, error: Int) {
            Log.d("debug", "Error")
            camera?.close()
            mCamera = null
        }
    }

    private val mCameraCaptureSessionCallback = object : CameraCaptureSession.StateCallback() {
        override fun onConfigured(session: CameraCaptureSession?) {
            mPreviewSession = session
            updatePreview()
        }

        override fun onConfigureFailed(session: CameraCaptureSession?) {
            Log.d("Debug", "onConfiguredFailed ")
        }
    }

    @SuppressLint("MissingPermission")
    fun open() {
        try {
            val manager = mActivity.getSystemService(Context.CAMERA_SERVICE) as CameraManager
            for(cameraId in manager.cameraIdList) {
                Log.d("ID", cameraId.toString())
                val characteristics : CameraCharacteristics = manager.getCameraCharacteristics(cameraId)
                if(characteristics.get(CameraCharacteristics.LENS_FACING) == CameraCharacteristics.LENS_FACING_BACK) {
                    val map : StreamConfigurationMap = characteristics.get(CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP)
                    mCameraSize = map.getOutputSizes(SurfaceTexture::class.java)[0]
                    manager.openCamera(cameraId, mCameraDeviceCallback, null)
                    return
                }
            }
        } catch (e : CameraAccessException) {
            e.printStackTrace()
        }
    }

    @SuppressLint("Recycle")
    private fun createCaptureSession() {
        if(!mTextureView!!.isAvailable) {
            return
        }

        val texture = mTextureView!!.surfaceTexture
        texture.setDefaultBufferSize(mCameraSize!!.width, mCameraSize!!.height)
        val surface = Surface(texture)
        try{
            mPreviewBuilder = mCamera?.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW)
        }catch (e : CameraAccessException) {
            e.printStackTrace()
        }

        mPreviewBuilder?.addTarget(surface)
        try {
            mCamera?.createCaptureSession(Collections.singletonList(surface), mCameraCaptureSessionCallback, null)
        }catch (e : CameraAccessException) {
            e.printStackTrace()
        }
    }

    fun updatePreview() {
        mPreviewBuilder?.set(CaptureRequest.CONTROL_AF_MODE, CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE)
        mPreviewBuilder?.set(CaptureRequest.CONTROL_AE_MODE, CaptureRequest.CONTROL_AE_MODE_ON_AUTO_FLASH)
        val thread = HandlerThread("Preview")
        thread.start()
        val backgroundHandler = Handler(thread.looper)

        try {
            mPreviewSession?.setRepeatingRequest(mPreviewBuilder?.build(), null, backgroundHandler)
        }catch (e : CameraAccessException) {
            e.printStackTrace()
        }
    }
}

試したこと

OpenCVモジュールに用意されているCameraBridgeViewBaseを使い、onCameraFrameメソッドでinputFrameを加工してJavaCameraViewへの表示を試みましたが、思っていた以上に解像度が低かっためこちらの方法にシフトしました。

補足情報（FW/ツールのバージョンなど）

Android Studio 3.0
OpenCV 3.4.0
Kotlin 1.2.21

Answer 1

あまりやりたくなかった方法ですし、このアプローチは間違っているかもしれませんが TextureViewからbitmapを取得し、OpenCVでbitmapを加工してから、別のViewに表示することにしました。