androidx.media3.transformerでの動画変換で、独自のEncoderFactoryを実装した時に、MediaCodecを非同期モードで動かしたい

Question

実現したいこと

androidのJetpackのライブラリ media3内のtransformerクラスを使い、media3が対応している動画を独自形式の動画に変換しようとしています。
独自形式ですのでエンコーダー用Codecと、そのCodecのインスタンスを生成するEncoderFactory自作の物です。
とりあえず実験として、エンコーダーに来た映像データをJPEG化しています。

発生している問題・分からないこと

どうやらTransformerのデコーダ内部で動いているMediaCodecが同期モードになっているようで、変換処理が重いとフレームドロップしますし、スレッドにわけまくると普通に胴切れを起こします。
Transformer内部で動いているデコーダーのMediaCodecを非同期モードで動かせれば良いはずなのですが、なにか手は無いでしょうか？

該当のソースコード

//Transformer起動部分
//変換先Codecがmp4になっていますが、ここは無視してください。関係無くなります。
		EditedMediaItem	srcItem ;
		MediaItem srcMediaItem = new MediaItem.Builder()
				.setUri(uri)
				.build() ;

		srcItem = new EditedMediaItem.Builder(srcMediaItem)
				.build() ;

		Codec.EncoderFactory encoderFactory = new mjpegEncoderFactory(this) ;

		Transformer transform = new Transformer.Builder(this)
				.setVideoMimeType(MimeTypes.VIDEO_H264)
				.setAudioMimeType(MimeTypes.AUDIO_AAC)
				.setEncoderFactory(encoderFactory)
				.addListener(new Transformer.Listener() {
					@Override
					public void onCompleted(Composition composition, ExportResult exportResult) {
						Log.i("mjpegMakeTransMainActivity:Transformer.Builder", "onCompleted") ;
						Transformer.Listener.super.onCompleted(composition, exportResult);
					}

					@Override
					public void onError(Composition composition, ExportResult exportResult, ExportException exportException) {
						Log.i("mjpegMakeTransMainActivity:Transformer.Builder", "onError") ;
						Transformer.Listener.super.onError(composition, exportResult, exportException);
					}

					@Override
					public void onFallbackApplied(Composition composition, TransformationRequest originalTransformationRequest, TransformationRequest fallbackTransformationRequest) {
						Log.i("mjpegMakeTransMainActivity:Transformer.Builder", "onFallbackApplied") ;
						Transformer.Listener.super.onFallbackApplied(composition, originalTransformationRequest, fallbackTransformationRequest);
					}
				})
				.build() ;

		File file = getExternalFilesDir(null) ;

		transform.start(srcItem, file.getPath() + "/tmpout.mp4");

// getOutputBufferで返すoutputBuffer は未設定です。ここは無視してください

package com.tmptest.jpegmaketest;

import static androidx.media3.common.Format.NO_VALUE;

import android.graphics.Bitmap;
import android.graphics.Canvas;
import android.graphics.ImageFormat;
import android.graphics.Rect;
import android.graphics.YuvImage;
import android.media.Image;
import android.media.ImageReader;
import android.media.MediaCodec;
import android.os.Environment;
import android.os.Handler;
import android.os.HandlerThread;
import android.os.Looper;
import android.util.Log;
import android.view.PixelCopy;
import android.view.Surface;
import android.widget.FrameLayout;

import androidx.annotation.Nullable;
import androidx.media3.common.Format;
import androidx.media3.common.MimeTypes;
import androidx.media3.common.util.UnstableApi;
import androidx.media3.decoder.DecoderInputBuffer;
import androidx.media3.transformer.Codec;
import androidx.media3.transformer.ExportException;

import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;

@UnstableApi
public class jpegMakeCodec implements Codec {
	MainActivity activity ;
	Format	configurationFormat ;
	Format	outputFormat ;
	Surface		inputSurface ;
	ByteBuffer	outputBuffer ;
	MediaCodec.BufferInfo	outputBufferInfo ;
	ImageReader		iReader ;
	HandlerThread	outputThread ;
	HandlerThread	fileSaveThread ;
	Rect copyRect ;
	Bitmap drawBase ;
	int			frameNo ;
	int no ;

	public jpegMakeCodec(MainActivity useAct, Format configurationBaseFormat) {
		activity = useAct ;

		configurationFormat = configurationBaseFormat ;

		outputFormat = configurationFormat.buildUpon()
				.build() ;

		iReader = ImageReader.newInstance(configurationBaseFormat.width, configurationFormat.height, ImageFormat.YUY2, 1) ;
		inputSurface = iReader.getSurface() ;

		outputBuffer = ByteBuffer.allocate(outputFormat.width*outputFormat.height*4*2) ;
		outputBufferInfo = new MediaCodec.BufferInfo() ;
		outputBufferInfo.set(0, outputBuffer.remaining(), 0, 0);

		outputThread = new HandlerThread("OutputThread") ;
		outputThread.start() ;

		fileSaveThread = new HandlerThread("FileSave") ;
		fileSaveThread.start() ;

		copyRect = new Rect(0, 0, configurationFormat.width, configurationFormat.height) ;
		drawBase = Bitmap.createBitmap(configurationFormat.width, configurationFormat.height, Bitmap.Config.ARGB_8888) ;

		no = 0 ;
		frameNo = 0 ;
	}

	@Override
	public Format getConfigurationFormat() {
		return configurationFormat;
	}

	@Override
	public String getName() {
		return "testEncoder";
	}

	@Override
	public Surface getInputSurface() {
		return inputSurface;
	}

	@Override
	public boolean maybeDequeueInputBuffer(DecoderInputBuffer inputBuffer) throws ExportException {
		return false;
	}

	@Override
	public void queueInputBuffer(DecoderInputBuffer inputBuffer) throws ExportException {

	}

	@Override
	public void signalEndOfInputStream() throws ExportException {

	}

	@Override
	public Format getInputFormat() throws ExportException {
		return configurationFormat;
	}

	@Nullable
	@Override
	public Format getOutputFormat() throws ExportException {
		return outputFormat;
	}

	@Nullable
	@Override
	public ByteBuffer getOutputBuffer() throws ExportException {
		{
			PixelCopy.request(inputSurface, copyRect, drawBase, (int result) -> {
				if (result != PixelCopy.SUCCESS) {
					return;
				}
				Handler handle = new Handler(fileSaveThread.getLooper()) ;
				handle.post(new Runnable() {
					@Override
					public void run() {
						try {
							File file = activity.getExternalFilesDir(null) ;
							FileOutputStream tmpOut ;
							try {
								tmpOut = new FileOutputStream(file.getAbsolutePath()+String.format("/tmp%03d.jpg", no)) ;
								drawBase.compress(Bitmap.CompressFormat.JPEG, 100, tmpOut) ;
								tmpOut.close();
								no ++ ;
								frameNo ++ ;
							} catch(FileNotFoundException e) {
								throw new RuntimeException(e);
							} catch(IOException e) {
								throw new RuntimeException(e);
							}
						} catch (Exception e) {
						}
					}
				}) ;
			}, new Handler(Looper.getMainLooper()));

//			int [] pixels = new int[1920*1080] ;
//			drawBase.getPixels(pixels, 0, 0, 0, 0, 1920, 1080);
//			if(pixels != null) {

//			}
		}

		ByteBuffer returnValue = outputBuffer ;
		outputBuffer = null ;
		return returnValue;
	}

	@Nullable
	@Override
	public MediaCodec.BufferInfo getOutputBufferInfo() throws ExportException {
		MediaCodec.BufferInfo returnInfo = outputBufferInfo ;
		long sampleTime = (long)((1000 / configurationFormat.frameRate) * frameNo) ;

		outputBufferInfo.set(0, outputBufferInfo.size, sampleTime, 0);
		return returnInfo;
	}

	@Override
	public void releaseOutputBuffer(boolean render) throws ExportException {
		outputBuffer = ByteBuffer.allocate(outputFormat.width*outputFormat.height*4*2) ;
	}

	@Override
	public void releaseOutputBuffer(long renderPresentationTimeUs) throws ExportException {
		outputBuffer = ByteBuffer.allocate(outputFormat.width*outputFormat.height*4*2) ;
	}

	@Override
	public boolean isEnded() {
		return false;
	}

	@Override
	public void release() {

	}
}

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

PixelCopyの実行スレッドをoutputThreadにすると胴切れします。
メインスレッドでやると胴切れしませんがフレームドロップします。

補足

特になし

Comments

[drednote]

すみません、ファイル書き込みスレッドを別けただけでも胴切れしてました

Answer 1

エンコーダCodecの実装で、getOutputBufferやreleaseOutputBufferの実装が色々と不味かったようでした。
基本的に内部のMediaCodecは非同期モードで動いており、胴切れを起こすのは単にバグの為です。
getOutputBufferでSurfaceに入っている映像を取り込んでいる時、上記ソースではgetOutputBuffer処理が終った後、Mainスレッドのルーパーがメッセージ処理を行う時に実行される事になるので基本的に別スレッドで行う必要があり、getOutputBuffer内ではPixelCopyの終了を待ってから処理を戻さなければなりません。
またreleaseOutputBufferdeでoutputBufferのallocateをするのは意味不明で、ここは寧ろoutputBufferをreleaseする必要があります。outputBufferはPixelCopyの完了時に確保します。
このようにすることでこの問題は解決しました。
お騒がせしました。

Comments

[jimbe]

折角なので解決した jpegMakeCodec.java を回答に載せては如何でしょうか。

[drednote]

```Java
/ getOutputBufferで返すoutputBuffer は未設定です。ここは無視してください

package com.tmptest.jpegmaketest;

import android.graphics.Bitmap;
import android.graphics.ImageFormat;
import android.graphics.Rect;
import android.media.Image;
import android.media.ImageReader;
import android.media.MediaCodec;
import android.os.Handler;
import android.os.HandlerThread;
import android.os.Looper;
import android.util.Log;
import android.view.PixelCopy;
import android.view.Surface;

import androidx.annotation.Nullable;
import androidx.media3.common.Format;
import androidx.media3.common.util.UnstableApi;
import androidx.media3.decoder.DecoderInputBuffer;
import androidx.media3.transformer.Codec;
import androidx.media3.transformer.ExportException;

import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;

@UnstableApi
public class jpegMakeCodec implements Codec {
MainActivity activity ;
Format configurationFormat ;
Format outputFormat ;
Surface inputSurface ;
ByteBuffer outputBuffer ;
MediaCodec.BufferInfo outputBufferInfo ;
ImageReader iReader ;
HandlerThread outputThread ;
Looper applicationLooper ;
long duration ;
long presentationTime ;
int no ;
syncronizedObj syncObj ;
Bitmap drawBase ;
Rect copyRect ;

public jpegMakeCodec(MainActivity useAct, Format configurationBaseFormat, Looper useLooper) {
activity = useAct ;
applicationLooper = useLooper ;

configurationFormat = configurationBaseFormat ;

outputFormat = configurationFormat.buildUpon()
.setFrameRate(30)
.build() ;

iReader = ImageReader.newInstance(configurationBaseFormat.width, configurationFormat.height, ImageFormat.YUY2, 2) ;
inputSurface = iReader.getSurface() ;

outputBuffer = null ;
outputBufferInfo = null ;

outputThread = new HandlerThread("OutputThread") ;
outputThread.start() ;

syncObj = new syncronizedObj() ;
drawBase = Bitmap.createBitmap(configurationFormat.width, configurationFormat.height, Bitmap.Config.ARGB_8888) ;
copyRect = new Rect(0, 0, configurationFormat.width, configurationFormat.height) ;

no = 0 ;
presentationTime = 0 ;
}

public void setDurationMS(long useDuration) {
duration = useDuration ;
}

@Override
public Format getConfigurationFormat() {
return configurationFormat;
}

@Override
public String getName() {
return "testEncoder";
}

@Override
public Surface getInputSurface() {
return inputSurface;
}

@Override
public boolean maybeDequeueInputBuffer(DecoderInputBuffer inputBuffer) throws ExportException {
return false;
}

@Override
public void queueInputBuffer(DecoderInputBuffer inputBuffer) throws ExportException {

}

@Override
public int getMaxPendingFrameCount() {
return 1 ;
}

@Override
public void signalEndOfInputStream() throws ExportException {

}

@Override
public Format getInputFormat() throws ExportException {
return configurationFormat;
}

@Nullable
@Override
public Format getOutputFormat() throws ExportException {
return outputFormat;
}

@Nullable
@Override
public ByteBuffer getOutputBuffer() throws ExportException {
if(outputBuffer != null) {
return outputBuffer ;
}

if(no == 0) {
outputBuffer = ByteBuffer.allocate(10*1024) ;
byte[] dmy = new byte[10*1024] ;
outputBuffer.put(dmy) ;

outputBufferInfo = new MediaCodec.BufferInfo() ;
outputBufferInfo.set(0, outputBuffer.remaining(), 0, 0);
no ++ ;
return outputBuffer ;
}

while(true) {
if(iReader.getMaxImages() == 0) {
try {
Thread.sleep(1);
} catch(InterruptedException e) {
throw new RuntimeException(e);
}
} else {
break ;
}
}

{
PixelCopy.request(inputSurface, copyRect, drawBase, (int result) -> {
if (result != PixelCopy.SUCCESS) {
syncObj.notifyObj();
return;
}
try {
File file = activity.getExternalFilesDir(null) ;
FileOutputStream tmpOut ;
try {
presentationTime = (long)((1000000/outputFormat.frameRate)*(no-1)) ;
tmpOut = new FileOutputStream(file.getAbsolutePath()+String.format("/tmp%03d.jpg", no)) ;
drawBase.compress(Bitmap.CompressFormat.JPEG, 100, tmpOut) ;

int arraySize = 10 * 1024 ;
byte[] tmpByteAry = new byte[arraySize] ;
outputBuffer = ByteBuffer.allocate(arraySize) ;
outputBuffer.put(tmpByteAry) ;
tmpOut.close();

outputBufferInfo = new MediaCodec.BufferInfo() ;
outputBufferInfo.set(0, outputBuffer.remaining(), presentationTime, (presentationTime >= (duration*1000))?MediaCodec.BUFFER_FLAG_END_OF_STREAM:0);

no ++ ;
} catch(FileNotFoundException e) {
throw new RuntimeException(e);
} catch(IOException e) {
throw new RuntimeException(e);
}
} catch (Exception e) {
throw new RuntimeException(e);
}
syncObj.notifyObj();
}, new Handler(outputThread.getLooper()));

syncObj.waitObj() ;

}
}

return outputBuffer;
}

@Nullable
@Override
public MediaCodec.BufferInfo getOutputBufferInfo() throws ExportException {
return outputBufferInfo;
}

@Override
public void releaseOutputBuffer(boolean render) throws ExportException {
outputBuffer = null ;
}

@Override
public void releaseOutputBuffer(long renderPresentationTimeUs) throws ExportException {
outputBuffer = null ;
}

@Override
public boolean isEnded() {
return false;
}

@Override
public void release() {

}
}
```
修正版を貼り付けてみました。
キモが、getOutputBufferでPixelCopyの終了を待つということで、同期方法は何でもいいんですがとにかく別スレッドで動かしているPixelCopyの終了を待ってから戻り値でnullではないoutputBufferを返すようにしてやれば上手く行くようになります。
無論、上記サンプルはエンコード時にJPEGファイルに落としてしまっていますが、実際に動画にする際はByteArrayOutputStream等を使ってメモリに吐き出し、OutputBufferとして返す必要がある訳ですが、今回は割愛です。