動画ファイルをデコードして再生するAndroidアプリを作っているが映像と音声を再生する仕組みってどうなっている。

Question

Androidで動画ファイルをデコードし再生するアプリを作ってます。下記リンクのサンプルを参考にしています。

MediaCodecとMediaExtractorと言うapiを使っている様ですが、サンプルでは、映像を再生するスレッドと音声を再生するスレッドが別々で、同時に再生を行っておりません。同時に再生する場合は同じスレッドにしなっきゃいけなさそうな気がしますが、例えば30fpsの動画だった場合、同じスレッドだと1フレーム映像の描画が終わった後に、映像の描画処理は一旦0.033秒やらないで、音声の再生をやる0.33秒間ループ処理でやる。それが終わったら次のフレームの映像を描画し0.033秒間音声を再生って感じで動画の再生が終わるまでループする感じで良いんですかね。なんか映像と音がずれそうな感じがするんですけど。

一般的な動画プレイヤーはどんな仕組みでやっているのでしょう。ご教示お願いします。もし参考サイトがあれば教えて欲しいです。

MediaCodecExample

Answer 1

いえいえ、動画再生は僕の知っている限り動画と音声のデコードは別スレッドで処理しています。
１フレームという思考で動画をやると、たぶんハマります。なぜなら、動画は１フレームという概念で管理されていないからです。
データもストリームですからね。

正直、ここの回答欄で説明できる話ではないです。残念ですが。

Comments

[退会済みユーザー]

私の調べた限りでは、動画の映像に関しては、フレームで管理しているのですが、映像だけデコードして再生するコードも作りましたし。いろんな方法があるんですかね。

[mugicya]

マシンスペックがすべて同等ならば、同時にやってもいいのですが…。
音声ではほとんどありませんが、映像のデコードはマシンスペックが大きく影響しますから。
僕はフレームというより、タイムテーブル的なバッファで管理しましたね。