android camera2でズーム後のtextureViewをキャプチャーする方法

Question

PCスペック
Windows10 HOME 64bit
メモリ　32GB
プロセッサ　Intel Core i7-8700CPU 3.20GHz
Android Studio 3.4.1(最新ver)
デモ用端末(XPERIA OS:7.0 API 24)

camera2APIを使って，カメラアプリを開発しています．

現在の進捗

とりあえずカメラを起動させて，ボタンを押したら撮影されるところまでできました．

現在の課題

ズーム機能を実装したのですが，
撮影ボタンを押すと，もとのズームされていない方の画像が撮影されてしまうのを直したいです．

ズームの方法として，ScaleGestureDetectorを実装して，textureViewを大きくしたり，小さくしたりすることはできています．

mCamera.mTextureView.getBitmap();で，textureViewをビットマップ形式で取り出して，作成したファイルに保存する流れを取っているのですが，ズームの部分のコードでtextureViewのビットマップの値を変えてないから，もとのビットマップの値のまま取り出しているということが問題だとはわかっていますが，どう直せばよいのかが分かりません．
ScaleListenerクラスの中で，スケールに応じてbitmapを変更すればよいのでしょうか？？

public class MainActivity extends AppCompatActivity {
    private Camera mCamera;
    private float scale = 1f;
    private ScaleGestureDetector detector;
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);

        setContentView(R.layout.activity_main);

        detector = new ScaleGestureDetector(this,new ScaleListener());

        TextureView textureView = (TextureView) findViewById(R.id.texture_view);
        textureView.setSurfaceTextureListener(new TextureView.SurfaceTextureListener() {
            @Override
            public void onSurfaceTextureAvailable(SurfaceTexture surface, int width, int height) {
                mCamera.open();
            }
            @Override
            public void onSurfaceTextureSizeChanged(SurfaceTexture surface, int width, int height) {}
            @Override
            public boolean onSurfaceTextureDestroyed(SurfaceTexture surface) {
                return false;
            }

            @Override
            public void onSurfaceTextureUpdated(SurfaceTexture surface) {}
        });

        mCamera = new Camera(textureView);
    }

    public boolean onTouchEvent(MotionEvent event) {
        detector.onTouchEvent(event);
        return super.onTouchEvent(event);
    }

    private class ScaleListener extends ScaleGestureDetector.SimpleOnScaleGestureListener {
        @Override
        public boolean onScale(ScaleGestureDetector detector) {
            scale *= detector.getScaleFactor();
            mCamera.mTextureView.setScaleX(scale);
            mCamera.mTextureView.setScaleY(scale);
            mCamera.changeZoomLevel(2);
            return true;
        }
    }
    @Override
    protected void onResume() {
        super.onResume();
        Button button = (Button) findViewById(R.id.button);
        button.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
                Bitmap bitmap = mCamera.mTextureView.getBitmap();
                int bitmapWidth = bitmap.getWidth();
                int bitmapHeight= bitmap.getHeight();
                Log.d("debug", "bitmapWidth:" + bitmapWidth);
                Log.d("debug", "bitmapHeight:" + bitmapHeight);
                try{
                    File resultFile = new File(Environment.getExternalStorageDirectory().getPath() + "/DCIM/" + "capture.jpeg");
                    resultFile.getParentFile().mkdir();
                    String resultFilepath = resultFile.getPath();

                    FileOutputStream output = new FileOutputStream(resultFilepath);
                    bitmap.compress(Bitmap.CompressFormat.JPEG, 100, output);
                    output.flush();

                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        });
    }
    class Camera {
        private CameraDevice mCamera;
        private TextureView mTextureView;
        private Size mCameraSize;
        private CaptureRequest.Builder mPreviewBuilder;
        private CameraCaptureSession mPreviewSession;
        private int mCurrentZoomLevel = 1;
        private Rect mCropRegion;
        private CameraManager manager;
        private CameraCharacteristics characteristics;


        private CameraDevice.StateCallback mCameraDeviceCallback = new CameraDevice.StateCallback() {
            @Override
            public void onOpened(@NonNull CameraDevice camera) {
                mCamera = camera;
                createCaptureSession();
            }

            @Override
            public void onDisconnected(@NonNull CameraDevice camera) {
                camera.close();
                mCamera = null;
            }

            @Override
            public void onError(@NonNull CameraDevice camera, int error) {
                camera.close();
                mCamera = null;
            }
        };

        CameraCaptureSession.StateCallback mCameraCaptureSessionCallback = new CameraCaptureSession.StateCallback() {
            @Override
            public void onConfigured(@NonNull CameraCaptureSession session) {
                mPreviewSession = session;
                updatePreview();
            }

            @Override
            public void onConfigureFailed(@NonNull CameraCaptureSession session) {
                Toast.makeText(MainActivity.this, "onConfigureFailed", Toast.LENGTH_LONG).show();
            }
        };
        public Camera(TextureView textureView) {
            mTextureView = textureView;
        }
        public void open() {
            try {
                manager = (CameraManager) getSystemService(Context.CAMERA_SERVICE);
                for (String cameraId : manager.getCameraIdList()) {
                    characteristics = manager.getCameraCharacteristics(cameraId);
                    if (characteristics.get(CameraCharacteristics.LENS_FACING) == CameraCharacteristics.LENS_FACING_BACK) {
                        StreamConfigurationMap map = characteristics.get(CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP);
                        mCameraSize = map.getOutputSizes(SurfaceTexture.class)[4];

                        Log.d("debug", "cameraId:" + cameraId);


                        manager.openCamera(cameraId, mCameraDeviceCallback, null);



                        return;
                    }
                }
            } catch (CameraAccessException e) {
                e.printStackTrace();
            }
        }

        private void createCaptureSession() {
            if (!mTextureView.isAvailable()) {
                return;
            }

            SurfaceTexture texture = mTextureView.getSurfaceTexture();
            texture.setDefaultBufferSize(mCameraSize.getWidth(), mCameraSize.getHeight());
            Surface surface = new Surface(texture);

            try {
                mPreviewBuilder = mCamera.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
            } catch (CameraAccessException e) {
                e.printStackTrace();
            }

            mPreviewBuilder.addTarget(surface);
            try {
                mCamera.createCaptureSession(Collections.singletonList(surface), mCameraCaptureSessionCallback, null);
            } catch (CameraAccessException e) {
                e.printStackTrace();
            }
        }
        public void changeZoomLevel(int level) {
            // cameraId = 対象のカメラID
            Log.d("debug", "changeZoomLevel()が呼ばれました");
            try {
                manager = (CameraManager) getSystemService(Context.CAMERA_SERVICE);
                //CameraCharacteristics characteristics;

                for (String cameraId : manager.getCameraIdList()) {
                    characteristics = manager.getCameraCharacteristics(cameraId);
                    if (characteristics.get(CameraCharacteristics.LENS_FACING) == CameraCharacteristics.LENS_FACING_BACK) {
                        StreamConfigurationMap map = characteristics.get(CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP);
                        mCameraSize = map.getOutputSizes(SurfaceTexture.class)[4];
                        Log.d("debug", "cameraId:" + cameraId);
                  
                    }
                }

            } catch (CameraAccessException e) {
                e.printStackTrace();
            }

            // 最大ズームサイズ
            float max = characteristics.get(CameraCharacteristics.SCALER_AVAILABLE_MAX_DIGITAL_ZOOM);
            if ((int) max < level || mCurrentZoomLevel == level) {
                return;
            }
            Log.d("debug", "max:" + max);

            mCurrentZoomLevel = level;
            final Rect activeArraySize = characteristics.get(CameraCharacteristics.SENSOR_INFO_ACTIVE_ARRAY_SIZE);

            if (mCurrentZoomLevel == 1) {
                mCropRegion.set(activeArraySize);
                Log.d("debug", "mCurrentZoomLevel:" + mCurrentZoomLevel);
            } else {
                Log.d("debug", "mCurrentZoomLevel:" + mCurrentZoomLevel);
                //noinspection ConstantConditions
                int cx = activeArraySize.centerX();
                int cy = activeArraySize.centerY();
                int hw = (activeArraySize.width() >> 1) / mCurrentZoomLevel;
                int hh = (activeArraySize.height() >> 1) / mCurrentZoomLevel;
                mCropRegion = new Rect(cx - hw, cy - hh, cy - hh, cy + hh);
            }
        }

        private void updatePreview() {
            mPreviewBuilder.set(CaptureRequest.CONTROL_AF_MODE, CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);
            mPreviewBuilder.set(CaptureRequest.SCALER_CROP_REGION, mCropRegion);
            HandlerThread thread = new HandlerThread("CameraPreview");
            thread.start();
            Handler backgroundHandler = new Handler(thread.getLooper());

            try {
                mPreviewSession.setRepeatingRequest(mPreviewBuilder.build(), null, backgroundHandler);
            } catch (CameraAccessException e) {
                e.printStackTrace();
            }
        }
    }
}

Answer 1

こちらのサイトが参考になると思います。
一応、実機でZoomの写真が撮れた事を確認できました。

https://qiita.com/ohwada/items/13c0d81b5b674474adbf
https://github.com/ohwada/Android_Samples/tree/master/Camera215

Answer 2

自分なら以下を参考にします。

https://qiita.com/ikemura23/items/049e8c73edda0bf23877

Comments

[sekaikan_ozaki]

コメントありがとうございます
スクラッチではなくて，すでにあるライブラリを利用すればよいとのことですね．
すべてで試してみましたが，そもそもズーム機能が実装されていないものばかりでした...

また，ズーム機能が実装されていても，ピンチイン専用になっていたりと，その後の加工ができないタイプなので，今回はスクラッチ開発にもう少しだけこだわってみようと思います．

ありがとうございました

Answer 3

以前私が質問し、自己解決した質問がありますので参考まで。
https://teratail.com/questions/154510

Comments

[sekaikan_ozaki]

コメントありがとうございます．

Begi様の過去の質問を拝見させていただきました．

updatePreview() のmPreviewBuilder.set(CaptureRequest.CONTROL_AF_MODE, CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);の部分の下に，
mPreviewBuilder.set(CaptureRequest.SCALER_CROP_REGION, mCropRegion);を記載しました．

また，https://moewe-net.com/android/camera2-zoomの方法を参考に，

public void changeZoomLevel(int level) {
// cameraId = 対象のカメラID

Log.d("debug", "changeZoomLevel()が呼ばれました");

try {

manager = (CameraManager) getSystemService(Context.CAMERA_SERVICE);
//CameraCharacteristics characteristics;

for (String cameraId : manager.getCameraIdList()) {
characteristics = manager.getCameraCharacteristics(cameraId);
if (characteristics.get(CameraCharacteristics.LENS_FACING) == CameraCharacteristics.LENS_FACING_BACK) {
StreamConfigurationMap map = characteristics.get(CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP);
mCameraSize = map.getOutputSizes(SurfaceTexture.class)[4];

Log.d("debug", "cameraId:" + cameraId);

//return;
}
}

} catch (CameraAccessException e) {
e.printStackTrace();
}

// try {
// characteristics = manager.getCameraCharacteristics(cameraId);
// } catch (CameraAccessException e) {
// e.printStackTrace();
// return;
// }

// 最大ズームサイズ
float max = characteristics.get(CameraCharacteristics.SCALER_AVAILABLE_MAX_DIGITAL_ZOOM);

if ((int) max < level || mCurrentZoomLevel == level) {
return;
}
Log.d("debug", "max:" + max);

mCurrentZoomLevel = level;
final Rect activeArraySize = characteristics.get(CameraCharacteristics.SENSOR_INFO_ACTIVE_ARRAY_SIZE);

if (mCurrentZoomLevel == 1) {
mCropRegion.set(activeArraySize);
Log.d("debug", "mCurrentZoomLevel:" + mCurrentZoomLevel);

} else {
Log.d("debug", "mCurrentZoomLevel:" + mCurrentZoomLevel);
//noinspection ConstantConditions
int cx = activeArraySize.centerX();
int cy = activeArraySize.centerY();
int hw = (activeArraySize.width() >> 1) / mCurrentZoomLevel;
int hh = (activeArraySize.height() >> 1) / mCurrentZoomLevel;
Log.d("debug", "cx:" + cx);
Log.d("debug", "cy:" + cy);
Log.d("debug", "hw:" + hw);
Log.d("debug", "hh:" + hh);
mCropRegion = new Rect(cx - hw, cy - hh, cy - hh, cy + hh);
Log.d("debug", "cx - hw:" + (cx - hw));
Log.d("debug", "cy - hh:" + (cy - hh));
Log.d("debug", "cy - hh:" + (cy - hh));
Log.d("debug", "cy + hh:" + (cy + hh));

}
}

のメソッドをCameraクラス内に追加し，
ScaleListenerクラスの内部で，changeZoomLevelを呼ぶようにしました．

しかし，何かが違うのか，撮影後の画像にズームが反映されません．．

何かアドバイスがあればいただけますでしょうか？
質問のソースコードはすでに編集しております．

[Begi]

コメント遅くなりすみません。
ちょっと不具合のあぶり出しが難しいですね…
私のソースと違う箇所を記載してみました。

createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
を
createCaptureRequest(CameraDevice.TEMPLATE_STILL_CAPTURE);
に、
mPreviewBuilder.set(CaptureRequest.CONTROL_AF_MODE, CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);
を
mPreviewBuilder.set(CaptureRequest.CONTROL_MODE, CaptureRequest.CONTROL_MODE_AUTO);
に変更してみてもらえますでしょうか。
よろしくお願いします。

[sekaikan_ozaki]

いえいえ，コメントしていただけるだけで大助かりです．

カメラをスクラッチで記述するのも今回初めてなので，自分でもコードに関して理解が足りないところが多くて参ってます...

上記の通り，該当箇所のコードを書き換えてみたのですが，挙動は前回と変わらずでした...

Begi様が解決した際のコードは， TakePictureActivity以外に別のクラスなどを設定されていましたでしょうか？