swift4にてAVCaptureSessionとARSCNViewの両立

Question

前提・実現したいこと

ARKITを用いて平面推定等を行うと同時に, カメラ映像を録画したい.

発生している問題・エラーメッセージ

video_session.startRunning() //カメラ映像関連

sceneView.session.run(configuration) //AR関連

これら二つのセッションを使いたいが, どちらかのセッションを動かすと, もう一方のセッションが機能しなくなってしまう.

具体的には, カメラ映像関連のセッションを起動した場合は, AR表示させたいARSCNViewが起動せず, 裏で動いている様子もなさそう.
同様に, AR関連のセッションを動かしている際は録画ができない.

該当のソースコード

 /// 録画を開始する : ボタンからこの関数を呼び出してあげる
      @objc private func startRecording() {
      // Documents ディレクトリ直下にファイルを生成する
      let paths = NSSearchPathForDirectoriesInDomains(.documentDirectory, .userDomainMask, true)
      let documentsDirectory = paths[0] as String
      
      // 現在時刻をファイル名に付与することでファイル重複を防ぐ
      let formatter = DateFormatter()
      formatter.dateFormat = "yyyyMMddHHmmssSSS"
      let filePath: String? = "(documentsDirectory)/myvideo-(formatter.string(from: Date())).mp4"
      let fileURL = NSURL(fileURLWithPath: filePath!)
      
      print("録画開始 : (filePath!)")
      fileOutput?.startRecording(to: fileURL as URL, recordingDelegate: self)
        self.start_check = true
        
//        //ここで平面推定を行うセッションを表示*1
//        configuration.planeDetection = .horizontal
//        configuration.isLightEstimationEnabled = true
//        self.sceneView.session.run(configuration)

試したこと

*1を非表示にした場合はARが表示されないがカメラ映像の録画が可能で, *1を表示している場合はその逆になってしまう.

補足情報（FW/ツールのバージョンなど）

swift 5.0.1
iOS 13.1

sessionに関しても調べたがあまり有益な情報を見つけられなかった.
そもそもsessionと呼ばれるものがあるかどうかすら怪しい.

質問者に足りてないであろう知識等あればご教授お願いします.

Answer 1

ググっただけですが、

ARKitを使いつつカメラの制御がどこまでできるか調べてみた
https://qiita.com/kotetuco/items/30f4c0eeea12ac3904a8

ARSessionの内部でAVCaptureSessionを使っているので、ARSessionとは別にAVCaptureSessionを作るのは不可能。

とあるので、両立は出来ないのかなとは思いました。

ただ、stackoverflowを見ると
https://stackoverflow.com/questions/44792778/how-to-record-video-from-arkit
いろいろアイディアと、それを試してみた結果がコメントで載っているでとりあえず眺めてみてはどうでしょうか？

＃フレームが取れるのなら、自分で静止画からエンコードして動画にしちゃってもいいのかなとは思いました（音は録音できないかもですが）。

Comments

[maru-ichi]

静止画の取得はFPSがかなり低くなってしまい、実用レベルではありませんでした。
色々試してみましたが、結論無理そうでしたので、現在はiosに備わっている画面録画と組み合わせてなんとかしようとしています。

参考になるサイトやアイディアありがとうございました！！