AVAssetWriterで動画を撮影した際に音声が記録されない

Question

AVAssetWriterを用いて動画アプリを作りたいと思っています。
検索で引っかかった以下URLでシェアされているコードを試していたのですが、
動画は撮影できるのですが、音声が記録されません。
仕組みがあまりわかっていないのですが、他に設定が必要なのでしょうか。

https://gist.github.com/yusuke024/b5cd3909d9d7f9e919291491f6b381f0#file-viewcontroller-swift

Answer 1

上記のコードでは
AVCaptureVideoDataOutput, AVCaptureVideoDataOutputSampleBufferDelegate
を利用して映像をキャプチャして記録しています。

同様に
AVCaptureAudioDataOutput, AVCaptureAudioDataOutputSampleBufferDelegate
で音声もキャプチャしてみると良いかと思います。

ソースコード一式を貼ります。

import UIKit
import AVFoundation

final class ViewController: UIViewController {

    // MARK: - private properties

    private var isRecording = false
    private var session = AVCaptureSession()
    private let videoOutput = AVCaptureVideoDataOutput()
    private let audioOutput = AVCaptureAudioDataOutput()
    private let fileUrl = FileManager.default.urls(for: .documentDirectory, in: .userDomainMask).first!.appendingPathComponent("test").appendingPathExtension("mov")
    private var assetWriter: AVAssetWriter?
    private var startTime: CMTime?

    // MARK: - lifecycle

    override func viewDidAppear(_ animated: Bool) {
        super.viewDidAppear(animated)

        AVCaptureDevice.requestAccess(for: .video) { _ in
            AVCaptureDevice.requestAccess(for: .audio) { _ in
                self.setupCaptureSession()
            }
        }
    }

    // MARK: - private functions

    private func setupCaptureSession() {
        session.sessionPreset = .hd1280x720

        guard
            let videoDevice = AVCaptureDevice.default(for: .video),
            let audioDevice = AVCaptureDevice.default(for: .audio),
            let videoInput = try? AVCaptureDeviceInput(device: videoDevice),
            let audioInput = try? AVCaptureDeviceInput(device: audioDevice) else {
            fatalError()
        }

        session.beginConfiguration()
        session.addInput(videoInput)
        session.addInput(audioInput)
        session.addOutput(videoOutput)
        session.addOutput(audioOutput)
        session.commitConfiguration()

        DispatchQueue.main.async {
            let previewView = PreviewView()
            previewView.videoPreviewLayer.session = self.session
            previewView.frame = self.view.bounds
            previewView.autoresizingMask = [.flexibleWidth, .flexibleHeight]
            self.view.insertSubview(previewView, at: 0)

            self.session.startRunning()
        }
    }

    @IBAction private func onClickButton(_ sender: Any) {
        if isRecording {
            isRecording = false
            finishRecording()
        } else {
            isRecording = true
            startRecording()
        }
    }

    private func startRecording() {
        try? FileManager.default.removeItem(at: fileUrl)
        assetWriter = try! AVAssetWriter(outputURL: fileUrl, fileType: .mov)

        // video
        let videoInput = AVAssetWriterInput(mediaType: .video, outputSettings: [
            AVVideoCodecKey : AVVideoCodecType.h264,
            AVVideoWidthKey : 1280,
            AVVideoHeightKey : 720
        ])
        videoInput.expectsMediaDataInRealTime = true
        assetWriter?.add(videoInput)

        // audio
        let audioInput = AVAssetWriterInput(mediaType: .audio, outputSettings: nil)
        audioInput.expectsMediaDataInRealTime = true
        assetWriter?.add(audioInput)

        assetWriter?.startWriting()

        let queue = DispatchQueue.global()
        videoOutput.setSampleBufferDelegate(self, queue: queue)
        audioOutput.setSampleBufferDelegate(self, queue: queue)
    }

    private func finishRecording() {
        videoOutput.setSampleBufferDelegate(nil, queue: nil)
        audioOutput.setSampleBufferDelegate(nil, queue: nil)

        startTime = nil

        assetWriter?.finishWriting {
            guard self.assetWriter!.status == .completed else { fatalError("failed recording") }

            DispatchQueue.main.async {
                let activity = UIActivityViewController(activityItems: [self.fileUrl], applicationActivities: nil)
                self.present(activity, animated: true)
            }
        }
    }
}

extension ViewController: AVCaptureVideoDataOutputSampleBufferDelegate, AVCaptureAudioDataOutputSampleBufferDelegate {

    func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {

        guard isRecording else { fatalError() }

        guard CMSampleBufferDataIsReady(sampleBuffer) else {
            print("not ready")
            return
        }

        if startTime == nil {
            startTime = CMSampleBufferGetPresentationTimeStamp(sampleBuffer)
            assetWriter?.startSession(atSourceTime: startTime!)
        }

        let mediaType: AVMediaType = output is AVCaptureVideoDataOutput ? .video : .audio
        let input = assetWriter!.inputs.filter { $0.mediaType == mediaType }.first!
        if input.isReadyForMoreMediaData {
            print("append (mediaType.rawValue)")
            input.append(sampleBuffer)
        }
    }
}

private class PreviewView: UIView {
    override class var layerClass: AnyClass {
        return AVCaptureVideoPreviewLayer.self
    }

    var videoPreviewLayer: AVCaptureVideoPreviewLayer {
        return layer as! AVCaptureVideoPreviewLayer
    }
}

Comments

[hihohi]

_adpater?.append(CMSampleBufferGetImageBuffer(sampleBuffer)!, withPresentationTime: time)
のところで画像の書き込みを行っていると思うのですが、音声の書き込み方法がわからず困っています。
もしご存じであればアドバイスをいただきたいです！

[errolizer]

_adpater の型は AVAssetWriterInputPixelBufferAdaptor なので音声は追加できません。
音声は直接 AVAssetWriterInput に突っ込めばOKです。

ちなみに映像の方もアダプタを経由する必要は基本的にないです。
もし、特段の意図がないのであれば直接 AVAssetWriterInput に突っ込んだ方が理解が早いかと思いました。

[hihohi]

ご返信ありがとうございます！
以下記載に変更し、直接 AVAssetWriterInputにappendしてみたところ、
132時間くらいある真っ黒の動画ファイルが出力され、最後の数秒に録画した映像が表示されました、、
こちらは別途設定が必要でしょうか？

// let time = CMTime(seconds: timestamp - _time, preferredTimescale: CMTimeScale(600))
// _adpater?.append(CMSampleBufferGetImageBuffer(sampleBuffer)!, withPresentationTime: time)
_assetWriterInput?.append(sampleBuffer)

[errolizer]

append時に毎回時刻を指定しない方法なので、最初に startSession(atSourceTime:)で開始時刻を指定してあげる必要があります。
そのまま動くサンプルを貼りましたので参考にしてみてください。

[hihohi]

ありがとうございます！正しく動作しました！！

[hihohi]

もしリアルタイムにフィルターをかけたり、ロゴなどを合成したりしたい場合はAVAssetWriterInputPixelBufferAdaptorが必要となりますか？

[errolizer]

そうなりますね。
もっと複雑な合成を行う場合は AVAssetExportSessionを利用する方法もあります。
例えばビデオの尺が短めでロゴをつけるだけなら AVAssetExportSessionの方が向いてるかもしれません。
AV周りはマシン負荷も高いので要件によって最適な方法を選択するのが吉です。