ffmpegで結合すると音ズレする

Question

全体で5秒の動画Aがあり、0:00から3:00秒まで無音、音は3:01から5:00です。

全体で60秒の動画Bがあり、0:00から60:00まで音があります。

この動画をffmpegで結合するとちょうど3秒の音ズレが発生します。

ffmpegの仕様はわからないのですが、音が発生してから結合？しているようです。ただそうは言ってもAの無音部分の絵が削除されているわけではありません。（Aの無音部分の音がBの0:00から3:00になっている）

こういうのを回避するにはどうすればいいのでしょうか？