質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.50%

  • Swift

    7247questions

    Swiftは、アップルのiOSおよびOS Xのためのプログラミング言語で、Objective-CやObjective-C++と共存することが意図されています

  • Xcode

    4099questions

    Xcodeはソフトウェア開発のための、Appleの統合開発環境です。Mac OSXに付随するかたちで配布されています。

  • iOS

    3998questions

    iOSとは、Apple製のスマートフォンであるiPhoneやタブレット端末のiPadに搭載しているオペレーションシステム(OS)です。その他にもiPod touch・Apple TVにも搭載されています。

Swift AVAssetWriterでの動画生成時のFPSについて

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 418

yhl

score 2

環境

Xcode9.2
Swift4

概要

現在、画像に対してリアルタイムにエフェクトをかけたものを、動画として書き出そうとしています。
イメージとしてはこのサイトに記載の「画像の配列から動画を生成」と同様に
AVFoundationのAVAssetWriterを使用した方法の中で
AVAssetWriterInputPixelBufferAdaptorに画像のバッファを書き込んでいくものとなります。

しかし、上記のサイトが「決められた数の画像をforループで書き込む」のに対し、私の場合は、マイク音声も別スレッドで録音し最終的に音声と動画を統合したいため
時間軸に沿った、動画書き込みを試みております。

そこでTimer.scheduledTimerでタイマーを回し、毎回以下のように日付から経過時間を取得/AVAssetWriterInputPixelBufferAdaptorに渡すためのCMTimeを出しております。

let FPS = 30
@objec func runLoop(){
 let now = Date()
 let duration = now.timeIntervalSince(offsetDate)
 offsetDate = now;
 let presentTime = CMTimeMake(Int64(Float64(frameCount * FPS) * duration), Int32(FPS))
//バッファ追加
 flg = adapter.append(baseImageBuffer, withPresentationTime: presentTime)
 if !flg {
   print("error")
   Thread.sleep(forTimeInterval: 0.1)
 }
}
timer = Timer.scheduledTimer(timeInterval: 0.2, target: self, selector: #selector(self.runLoop), userInfo: nil, repeats: true)
RunLoop.current.add(timer, forMode: RunLoopMode.commonModes)

質問

上記の実装にて、タイマーの時間を0.2よりも小さくすると「adapter.append」の箇所で返るBoolがfalseとなり
appendに失敗します。(0.2では動作します)
FTPを30にしたいため、タイマーは1/30=0.03を設定したいのですが、
AVAssetWriterInputPixelBufferAdaptorに書き込む速度制限のようなものが存在するのかどうか
ご存知の方がおりましたらご教示いただけますと幸いです。

ちなみに音声の録音は上記タイマーとは別にAVAudioEngineを走らせ、以下のように実装しておりますが
こちらは正しくオーディオファイルが書き出されます。

mixer = AVAudioMixerNode()
audioEngine.attach(mixer)

try! AVAudioSession.sharedInstance().setCategory(AVAudioSessionCategoryPlayAndRecord)
try! AVAudioSession.sharedInstance().setActive(true)

audioFormat = AVAudioFormat(commonFormat: AVAudioCommonFormat.pcmFormatInt16,
                            sampleRate: 44100.0,
                            channels: 1,
                            interleaved: true)
audioEngine.connect(audioEngine.inputNode, to: mixer, format: audioFormat)
audioEngine.connect(mixer, to: audioEngine.mainMixerNode, format: audioFormat)
let dir = NSSearchPathForDirectoriesInDomains(.documentDirectory, .userDomainMask, true).first! as String
self.filePath =  dir.appending("/temp.wav")
_ = ExtAudioFileCreateWithURL(URL(fileURLWithPath: self.filePath!) as CFURL,
                                      kAudioFileWAVEType,
                                      (audioFormat?.streamDescription)!,
                                      nil,
                                      AudioFileFlags.eraseFile.rawValue,
                                      &outref)
mixer.installTap(onBus: 0, bufferSize: AVAudioFrameCount((audioFormat?.sampleRate)!), format: audioFormat) { (buffer: AVAudioPCMBuffer!, time: AVAudioTime!) in
      let audioBuffer: AVAudioBuffer = buffer
      _ = ExtAudioFileWriteAsync(self.outref!, buffer.frameLength, audioBuffer.audioBufferList)
}
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

check解決した方法

0

原因は経過時間の算出で余計なことをしていたようです。

Timer.scheduledTimerでFPSを再現しているので
AVAssetWriterInputPixelBufferAdaptorに渡すwithPresentationTimeは
単に経過時間を足していって
それを渡せばよかったようです。

let duration = now.timeIntervalSince(offsetDate)
totalTime += duration

let presentTime = CMTimeMakeWithSeconds(totalTime, Int32(NSEC_PER_SEC))


ありがとうございました。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.50%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Swift

    7247questions

    Swiftは、アップルのiOSおよびOS Xのためのプログラミング言語で、Objective-CやObjective-C++と共存することが意図されています

  • Xcode

    4099questions

    Xcodeはソフトウェア開発のための、Appleの統合開発環境です。Mac OSXに付随するかたちで配布されています。

  • iOS

    3998questions

    iOSとは、Apple製のスマートフォンであるiPhoneやタブレット端末のiPadに搭載しているオペレーションシステム(OS)です。その他にもiPod touch・Apple TVにも搭載されています。