android SurfaceViewからBitmapを取得する方法

Question

Windows10 HOME 64bit
Android Studio 3.5.2
デモ用端末OS:7.0 API 24

カメラで表示しているプレビューの最中にボタンを押して、表示中のプレビューのbitmapが取得できるようにしたいです。

いままで、プレビューをTextureViewを使って表示していたので、TextureViewの場合であれば、簡単にgetBitmap()で取得することができていました。

しかし今回、SurfaceViewを使っており、どうしてもBitmapが取得したい状況です。
SurfaceViewはgetBitmap()メソッドが存在しないようなので、別の方法でbitmapを取得できるのでしょうか？
あれば教えていただきたいです。
とにかくSurfaceViewのキャプチャ画像が取得できれば大成功です。

色々インターネットで検索してみましたが、良い解決策が見つかりませんでしたので、どなたかご教授いただければ嬉しいです。

以下に簡単なコードを載せます

package com.example.textrecognizer;


import android.content.Context;

import android.graphics.Bitmap;
import android.graphics.Canvas;
import android.graphics.Rect;
import android.support.annotation.NonNull;
import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Log;
import android.util.SparseArray;
import android.view.SurfaceHolder;
import android.view.SurfaceView;
import android.view.View;
import android.widget.Button;
import android.widget.TextView;
import com.google.android.gms.vision.CameraSource;
import com.google.android.gms.vision.Detector;
import com.google.android.gms.vision.text.TextBlock;
import com.google.android.gms.vision.text.TextRecognizer;
import java.io.FileOutputStream;
import java.io.IOException;


public class MainActivity extends AppCompatActivity {


    private SurfaceView mCameraView;
    private TextView mTextView;
    private CameraSource mCameraSource;
    private TextRecognizer textRecognizer;
    private CameraPermission cameraPermission;



    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        cameraPermission = new CameraPermission(this);
        mCameraView = findViewById(R.id.cameraView);
        mTextView = findViewById(R.id.text_view);

        startCamera();

        Button button = (Button) findViewById(R.id.button);
        button.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
                Log.d("debug", "ボタンをクリックしました");

                Canvas canvas = mCameraView.getHolder().lockCanvas();
                //別途BitmapとCanvasを用意する
                Bitmap bmp = Bitmap.createBitmap(mCameraView.getWidth(), mCameraView.getHeight(), Bitmap.Config.ARGB_8888);
                Canvas tmpCanvas = new Canvas(bmp);
                //TODO tmpCanvasに対して描画処理を行う
                Rect mScreenRect = new Rect(0, 0, mCameraView.getWidth(), mCameraView.getHeight());
                tmpCanvas.drawBitmap(bmp, null, mScreenRect, null);
                mCameraView.getHolder().unlockCanvasAndPost(canvas);

            }
        }); // btnRead

    }

    // ファイルを保存
    public void saveFile(String file, Bitmap bitmap) {
        // try-with-resources
        try (FileOutputStream fileOutputstream = openFileOutput(file,
                Context.MODE_PRIVATE)) {
            //bitmapをJpeg画像化
            bitmap.compress(Bitmap.CompressFormat.JPEG, 100, fileOutputstream);
            fileOutputstream.flush();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }


    /**
     * Starts camera source after camera permission is granted
     *
     * @param requestCode
     * @param permissions
     * @param grantResults
     */
    @Override
    public void onRequestPermissionsResult(int requestCode, @NonNull String[] permissions, @NonNull int[] grantResults) {
        if (requestCode == cameraPermission.getCameraPermissionID()) {

            if (cameraPermission.checkHasCameraPermission()) {

                Log.i("onRequestResult", "Permission has been granted");
                try {
                    mCameraSource.start(mCameraView.getHolder());
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }

    }


    /**
     * Gets TextBlock from TextRecognizer, set Text to TextView.
     */
    private void setDataToTextView() {

        textRecognizer.setProcessor(new Detector.Processor<TextBlock>() {
            @Override
            public void receiveDetections(Detector.Detections<TextBlock> detections) {
                final SparseArray<TextBlock> items = detections.getDetectedItems();

                if (items.size() != 0) {
                    mTextView.post(new Runnable() {
                        @Override
                        public void run() {

                            //Gets strings from TextBlock and adds to StringBuilder
                            final StringBuilder stringBuilder = new StringBuilder();
                            for (int i = 0; i < items.size(); i++)
                                stringBuilder.append(items.valueAt(i).getValue());

                            mTextView.setText(stringBuilder.toString());

                        }
                    });
                }
            }

            @Override
            public void release() {
            }
        });
    }

    /**
     * Init camera source with needed properties,
     * then set camera view to surface view.
     * 必要なプロパティでカメラソースを初期化し、
     * カメラビューをサーフェスビューに設定します。
     */
    private void startCamera() {

        textRecognizer = new TextRecognizer.Builder(getApplicationContext()).build();

        if (textRecognizer.isOperational()) {

            mCameraSource = new CameraSource.Builder(getApplicationContext(), textRecognizer)
                    .setFacing(CameraSource.CAMERA_FACING_BACK)
                    .setRequestedPreviewSize(1280, 1024)
                    .setAutoFocusEnabled(true)
                    .setRequestedFps(30.0f)
                    .build();

            //If permission is granted cameraSource started and passed it to surfaceView
            mCameraView.getHolder().addCallback(new SurfaceHolder.Callback() {
                @Override
                public void surfaceCreated(SurfaceHolder holder) {
                    if (cameraPermission.checkHasCameraPermission()) {

                        try {
                            mCameraSource.start(mCameraView.getHolder());

                        } catch (IOException e) {
                            e.printStackTrace();
                        }

                    } else {

                        Log.i("surfaceCreated", "Permission request sent");
                        cameraPermission.requestCameraPermission();
                    }
                    Log.e(TAG, "surfaceCreated()");
                }

                @Override
                public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {
                    Log.e(TAG, "surfaceChanged()");

                }

                @Override
                public void surfaceDestroyed(SurfaceHolder holder) {
                    mCameraSource.stop();
                    Log.e(TAG, "surfaceDestroyed()");
                }
            });

            setDataToTextView();
            Log.e(TAG, "setDataToTextView()");

        }
    }

    @Override
    public void onPause() {
        super.onPause();
    }


}

<android.support.constraint.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    android:orientation="vertical"
    android:weightSum="10">

    <SurfaceView
        android:id="@+id/cameraView"
        android:scaleType="fitCenter"
        android:layout_width="0dp"
        android:layout_height="0dp"
        app:layout_constraintBottom_toBottomOf="parent"
        app:layout_constraintLeft_toLeftOf="parent"
        app:layout_constraintRight_toRightOf="parent"
        app:layout_constraintTop_toTopOf="parent" />

    <TextView
        android:id="@+id/text_view"
        android:layout_width="match_parent"
        android:layout_height="50dp"
        android:gravity="bottom"
        android:textColor="@android:color/white"
        android:textSize="20sp"
        android:textStyle="bold"
        app:layout_constraintLeft_toLeftOf="parent"
        app:layout_constraintRight_toRightOf="parent"
        app:layout_constraintTop_toTopOf="parent" />

    <Button
        android:id="@+id/button"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        app:layout_constraintBottom_toBottomOf="parent"
        app:layout_constraintLeft_toLeftOf="parent"
        app:layout_constraintRight_toRightOf="parent" />


</android.support.constraint.ConstraintLayout>

Answer 1

PixelCopy.request()
にて、可能なようです。

googel > pixelcopy.request example
https://www.javatips.net/api/android.view.pixelcopy

Comments

[sekaikan_ozaki]

回答ありがとうございます。
これはAPI24以上から使用できるメソッドのようですが、23以下でも使うことを想定していたので、別の方法はありませんでしょうか？

[sugar_yas]

SurfaceViewもViewを継承している為、こちらが使えるのではないでしょうか？

https://developer.android.com/reference/android/view/View#getDrawingCache()

[sekaikan_ozaki]

getDrawingCache()はすでに試してみましたが、真っ黒な画像になってしまいうまくいきませんでした。

[sugar_yas]

う～ん、SurfaceViewの内部でLockCanvasへの描画内容を、自前でBitmapで保存しておくか、
スクリーンショットから切り取るくらいしか、思いつかないです。申し訳ないです。

https://akira-watson.com/android/screenshot.html

[sekaikan_ozaki]

＞SurfaceViewの内部でLockCanvasへの描画内容を、自前でBitmapで保存しておく

こちらについて、もう少し詳しく教えていただけますでしょうか...？

[sekaikan_ozaki]

ちなみに以下の方法でも試してみましたが、真っ黒が画像として出力されました...

Bitmap bmp = Bitmap.createBitmap(surfaceView.getWidth(), surfaceView.getHeight(), Bitmap.Config.ARGB_8888); // surfaceViewのサイズで Bitmap を作成

Canvas canvas = new Canvas(bmp); // bmp をターゲットにした Canvas を作成
surfaceView.draw(canvas);

スクリーンショットについては、画面全体が抜けてしまうことと、パーミッション追加の関係で、今回は使用できなさそうです...

[sugar_yas]

対象SurfaceView(＝SurfaceViewを継承したクラスの内部に描画処理がある)としたときに、
メンバーとして、Bitmap bmpを保持しておき、
クラス内でgetHolder().lockCanvas()で取得したCanvasにdrawしている内容と同じことを、
自前のcanvas[Canvas canvas = new Canvas(bmp)]にもdrawすれば、Bitmapが取得でると思います。
もしくは、先にBitmapを作成し、getHolder().lockCanvas()へのdrawはBitmapを描画するなどで、対処されている方もいるようです。

[sekaikan_ozaki]

返信ありがとうございます。
そういうやり方があるのですね。
ボタンを押した際に、ビットマップを取得したかったので、そのようにソースコードを編集してみました。
（↑の質問の方のソースコードを編集したものに変更しています。）

エラーメッセージが出てしまい、
surfaceviewにアクセスできない状態になってしまいます。

これではbitmapの取得は難しいのでしょうか...

[sugar_yas]

CamerasourceにCamerasource.Picturecallbackを渡すとjpeg形式のbyte[]を取得できそうです。
このbyte[]を保持しておき、ボタン押下のタイミングでBitmapに変換するのは、どうでしょう？

https://developers.google.com/android/reference/com/google/android/gms/vision/CameraSource.html#takePicture(com.google.android.gms.vision.CameraSource.ShutterCallback,%20com.google.android.gms.vision.CameraSource.PictureCallback)

ソース
https://github.com/googlesamples/android-vision/blob/master/visionSamples/barcode-reader/app/src/main/java/com/google/android/gms/samples/vision/barcodereader/ui/camera/CameraSource.java

[sekaikan_ozaki]

ありがとうございます。
Picturecallbackではないですが、似たメソッドで
preview.callbackで毎フレームの画像を取得することができました。
https://qiita.com/JunSuzukiJapan/items/b5484ad8ad9f2de757be