リアルタイムで画像認識するとクラッシュしてしまう (Swift,CoreML,Vision)

Question

前提

私はswiftを学び始めて3ヶ月の初心者です。
swiftでリアルタイムで画像認識するアプリを作っています。
写真を撮ってその画像を認識することはできたのですが、
リアルタイムで作り直すと、数秒の間は目的のリアルタイムで画像認識をしてくれましたが、クラッシュしてしまい、以下のエラーメッセージが発生しました。

Terminated due to memory issue

改善方法のご教授をよろしくお願いします。

実現したいこと

ここに実現したいことを箇条書きで書いてください。

• 途中で落ちないようにしたい

発生している問題・エラーメッセージ

Terminated due to memory issue

該当のソースコード

import UIKit
import AVKit
import Vision

class ViewController: UIViewController, AVCaptureVideoDataOutputSampleBufferDelegate {
    
    let identifierLabel: UILabel = {
        let label = UILabel()
        label.backgroundColor = .white
        label.textAlignment = .center
        label.translatesAutoresizingMaskIntoConstraints = false
        return label
    }()

    override func viewDidLoad() {
        super.viewDidLoad()
        
        let captureSession = AVCaptureSession()
        captureSession.sessionPreset = .photo
        
        guard let captureDevice = AVCaptureDevice.default(for: .video) else { return }
        guard let input = try? AVCaptureDeviceInput(device: captureDevice) else { return }
        captureSession.addInput(input)
        
        captureSession.startRunning()
        
        let previewLayer = AVCaptureVideoPreviewLayer(session: captureSession)
        view.layer.addSublayer(previewLayer)
        previewLayer.frame = view.frame
        
        let dataOutput = AVCaptureVideoDataOutput()
        dataOutput.setSampleBufferDelegate(self, queue: DispatchQueue(label: "videoQueue"))
        captureSession.addOutput(dataOutput)
        
        setupIdentifierConfidenceLabel()
    }
    
    fileprivate func setupIdentifierConfidenceLabel() {
        view.addSubview(identifierLabel)
        identifierLabel.bottomAnchor.constraint(equalTo: view.bottomAnchor, constant: -32).isActive = true
        identifierLabel.leftAnchor.constraint(equalTo: view.leftAnchor).isActive = true
        identifierLabel.rightAnchor.constraint(equalTo: view.rightAnchor).isActive = true
        identifierLabel.heightAnchor.constraint(equalToConstant: 50).isActive = true
    }
    
    func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {
        
        guard let pixelBuffer: CVPixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else { return }
        
        guard let model = try? VNCoreMLModel(for: Resnet50().model) else { return }
        let request = VNCoreMLRequest(model: model) { (finishedReq, err) in

            guard let results = finishedReq.results as? [VNClassificationObservation] else { return }
            
            guard let firstObservation = results.first else { return }
            
            print(firstObservation.identifier, firstObservation.confidence)
            
            DispatchQueue.main.async {
                self.identifierLabel.text = "\(firstObservation.identifier) \(firstObservation.confidence * 100)"
            }
            
        }
        
        try? VNImageRequestHandler(cvPixelBuffer: pixelBuffer, options: [:]).perform([request])
    }

}

試したこと

起動してからエラーが起こるので、どこでエラーが起きているのかがわからない状態です。

補足情報（FW/ツールのバージョンなど）

Comments

[退会済みユーザー]

Visionフレームワークは使ったことがないのですが、まだ回答がないようですのでコメントしてみます・・

質問欄のコードはこれで再現可能な全てのコードでしょうか？
再現できないコードだけですと回答がなかなかつかないのかなと思いました。

captureOutputの中だけを見ますと、ネットの記事と比べてもおかしい感じはしませんでしたので、
それ以外の部分に原因がありそうかなと思いました。

[bure]

ご指摘ありがとうございます。
自分でコピペして確かめてみたところ、
ソースコードの中に余計な文が含まれていました。
この文を除いた上で、問題が起きている状態です。
問題のソースコードに修正は終えました。

よろしくお願いします。

[退会済みユーザー]

不要な文字列があったので実際のコードとは違うのかなと思いましたが、
でも必要なコードが記載されていなかったわけではなくこれで全てなのですね。

> ImagePredictor.imageClassifier
> Share one ``VNCoreMLModel`` instance --- for each Core ML model file --- across the app, since each can be expensive in time and resources.
> (機械翻訳)アプリ全体で1つのVNCoreMLModelインスタンスを共有します。各インスタンスは時間とリソースがかかるためです。
> https://developer.apple.com/documentation/vision/classifying_images_with_vision_and_core_ml

Visonフレームワークのサンプルコードをダウンロードして、中のコードに引用のようなコメントがありました。
関係しているかわからないですが、VNCoreMLModelはメモリを圧迫しているのかもしれません。
初期化時にVNCoreMLModelのインスタンスを生成して、それを使い回す感じにしてみたら何か変わるでしょうか？

Answer 1

xg63ex2b氏の指摘通り、modelの重複生成によってメモリが圧迫されていたようです。
下記のように初期化時にインスタンスを作成してcaptureOutput内で使用すれば落ちませんでした。

    var model: VNCoreMLModel!
    
    required init?(coder: NSCoder) {
        super.init(coder: coder)
        model = try? VNCoreMLModel(for: Resnet50.init(configuration: .init()).model)
    }

Comments

[bure]

xg63ex2b様、satochaaan様
ご回答ありがとうございます。
起動中に永遠にmodelが作り続けられていたんですね。