Androidでスクリーンショットを取りたいのですが、ImageReaderの中身がnullになってしまいます。

Question

AndroidStudioを用い、kotlinでディスプレイ全体のスクリーンショットを取るアプリを作っています。
画面のキャストの許可を取ることはできたのですが、その先でつまづいています。

mediaProjectionManagerからmediaProjectionを作る
↓
imageReaderを作る
↓
virtualDisplayでimageReader.surfaceをサーフィスに指定

これでimageReader.acquireLatestImage()を行うとImageオブジェクトが取り出せるはずだと思うのですが、Logではnullだと返ってきます。なにが原因でしょうか？

画面のサイズは既知である自前のスマホの数値を入れています。（AVDも実機と同じ環境）
imageReaderとvirtualDisplayのLogではnullが表示されませんでした。

    private lateinit var mediaProjectionManager: MediaProjectionManager

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_main)
        mediaProjectionManager = getSystemService(Context.MEDIA_PROJECTION_SERVICE) as MediaProjectionManager
        startActivityForResult(mediaProjectionManager.createScreenCaptureIntent(), 1)
    }

    override fun onActivityResult(requestCode: Int, resultCode: Int, data: Intent?) {
        super.onActivityResult(requestCode, resultCode, data))
        if (requestCode == 1) {
            if (resultCode == Activity.RESULT_OK) {
                val mediaProjection = mediaProjectionManager.getMediaProjection(resultCode, data)

                val widthPixels: Int = 1080
                val heightPixels: Int = 1776
                val dpi: Int = 480

                val imageReader = ImageReader.newInstance(widthPixels, heightPixels, PixelFormat.RGB_888, 2)
                if (imageReader == null) {
                    Log.d(TAG, "imageReader == null")
                }

                val virtualDisplay: VirtualDisplay = mediaProjection.createVirtualDisplay("Capturing Display", widthPixels, heightPixels, dpi,
                        DisplayManager.VIRTUAL_DISPLAY_FLAG_AUTO_MIRROR,
                        imageReader.surface, null, null)
                if (virtualDisplay == null){
                    Log.d(TAG, "virtualDisplay == null")
                }

                if (imageReader.acquireLatestImage() == null) {
                    Log.d(TAG, "imageReader.acquireLatestImage() == null")
                }

                imageReader.close()
                virtualDisplay.release()
            }
        }
    }else{
        Log.d(TAG, "requestCode != 1")
    }

Answer 1

ImageReader.setOnImageAvailableListener() を仕掛けて、
onImageAvailable()に来てから acquireLatestImage() すれば取れると思います。

    private static final String TAG = "log";
    private static final int REQUEST_CODE = 101;
    private MediaProjectionManager mediaProjectionManager;
    private MediaProjection mediaProjection;
    private VirtualDisplay virtualDisplay;
    private ImageReader imageReader;

    private void demo() {
        mediaProjectionManager = (MediaProjectionManager)getSystemService(Context.MEDIA_PROJECTION_SERVICE);
        startActivityForResult(mediaProjectionManager.createScreenCaptureIntent(), REQUEST_CODE);
    }

    @Override
    protected void onActivityResult(int requestCode, int resultCode, Intent data) {
        if ((requestCode == REQUEST_CODE) && (resultCode == RESULT_OK)) {
            mediaProjection = mediaProjectionManager.getMediaProjection(resultCode, data);
            DisplayMetrics metrics = getResources().getDisplayMetrics();
            Display display = getWindowManager().getDefaultDisplay();
            Point size = new Point();
            display.getSize(size);

            imageReader = ImageReader.newInstance(size.x, size.y, PixelFormat.RGBA_8888, 2);
            imageReader.setOnImageAvailableListener(new ImageReader.OnImageAvailableListener() {
                @Override
                public void onImageAvailable(ImageReader reader) {
                    Image image = imageReader.acquireLatestImage();
                    if (image != null) {
                        Log.d(TAG, "きたよ");
                    }
                }
            }, null);

            virtualDisplay = mediaProjection.createVirtualDisplay("capture", size.x, size.y, metrics.densityDpi,
                    DisplayManager.VIRTUAL_DISPLAY_FLAG_AUTO_MIRROR, imageReader.getSurface(), null, null);
        }
    }

Comments

[Amanokawa]

回答ありがとうございます。
setOnImageAvailableListenerを使用しても結果はnullのままでした。
リファレンスを見るに、imageReaderに取得可能なImageが入った時 onImageAvailableが呼び出されるようですね。
Logで見てもonImageAvailableに移動していませんでした。

キャストの許可とmediaProjectionの取得は別のActivityで行ってあり、static(kotlinのcompanion object)で別ファイルに渡す形を取っているのですが、そこら辺りが関係しているのでしょうかね。

[daisuke7]

onImageAvailable() に飛び込んできてからでないと有効になりません。
また、setOnImageAvailableListener() してから createVirtualDisplay() を呼ばないと、onImageAvailable()が呼び出されないようです。