【Swift/OpenCV】アプリがクラッシュし「Terminated due to memory issue」が表示される

Question

前提・実現したいこと

https://qiita.com/koooootake/items/8aed4ee758548689f0a6
こちらの方が公開している「Portrait-without-Depth-ios」というアプリをクローンし、実機で試していた際のエラーです。
こちらのアプリは、読み込んだ画像に対して、被写体と背景を分離して、背景だけをボヤけさせるという機能があります。

画像（2448×2448、1.1MB）を読み込むまでは問題なく出来たのですが、その後、「Done」ボタンを押下した際に、しばらくするとアプリがクラッシュしてしまいます。
![]

エラーメッセージと該当しているソースコード（文字数の関係で一部をカットしています。）を載せます。
217行目の
return OpenCVManager.shared()?.doGrabCut(img, foregroundRect: rect, iterationCount: 1)
で__doGrabCut__メソッドが問題のコードだと思います。

発生している問題・エラーメッセージ

Message from debugger: Terminated due to memory issue.

該当のソースコード(ViewController.swift)

//  Copyright © 2018年 koooootake. All rights reserved.
//

import UIKit
import CropViewController
import AVFoundation

class ViewController: UIViewController, UINavigationControllerDelegate {

    let kGradientLayerName = "Gradient"

    var viewModel: ViewModel = ViewModel()

    //base
    @IBOutlet weak var imageSizeLabel: UILabel!
    @IBOutlet weak var baseView: UIView!
    @IBOutlet weak var sourceImageView: UIImageView!

    //segment
    private var selectedRect: CGRect?
    @IBOutlet weak var maskImageView: UIImageView!
    @IBOutlet weak var drawImageView: DrawView!
    @IBOutlet weak var drawPenSizeSlider: UISlider!

    //result
    private var resultImage: UIImage?
    private var blurWithoutGradientImage: UIImage?
    private var inpaintingImage: UIImage?
    @IBOutlet weak var resultImageView: UIImageView!
    @IBOutlet weak var blurSizeSlider: UISlider!

    //editView
    @IBOutlet weak var indicatorBaseView: UIView!
    @IBOutlet weak var indicatorView: UIActivityIndicatorView!
    @IBOutlet weak var editView: UIView!
    @IBOutlet var segmentEditView: UIView!
    @IBOutlet var resultEditView: UIView!
    @IBOutlet var dofEditView: UIView!
    @IBOutlet weak var safeAreaView: UIView!

    private lazy var tapFeedbackGenerator: UIImpactFeedbackGenerator = {
        let generator = UIImpactFeedbackGenerator(style: .light)
        generator.prepare()
        return generator
    }()

    override func viewDidLoad() {
        super.viewDidLoad()
        reload(status: .load)
        setupIndicatorBaseView()
    }

    private func setupIndicatorBaseView() {
        let visualEffectView = UIVisualEffectView(effect: UIBlurEffect(style: .dark))
        visualEffectView.frame = indicatorBaseView.bounds
        indicatorBaseView.addSubview(visualEffectView)
        indicatorBaseView.layer.cornerRadius = 4
        indicatorBaseView.layer.masksToBounds = true
        indicatorBaseView.bringSubviewToFront(indicatorView)
        indicatorBaseView.alpha = 0
    }

    private func reload(status: ViewModel.Status) {
        viewModel.reload(status: status)
        maskImageView.isHidden = viewModel.isHiddenSegmentView
        drawImageView.isHidden = viewModel.isHiddenSegmentView
        resultImageView.isHidden = viewModel.isHiddenResultImageView
        navigationItem.title = viewModel.navigationTitle
        safeAreaView.backgroundColor = viewModel.viewBackgroundColor

        for view in editView.subviews {
            view.removeFromSuperview()
        }

        let editContentView: UIView
        switch status {
        case .load:
            //do nothing
            return
        case .segment:
            editContentView = segmentEditView
        case .result:
            editContentView = resultEditView
        case .dof:
            editContentView = dofEditView
        }

        editView.addSubview(editContentView)
        editView.addConstraintsFitParentView(editContentView)
    }

    private func reset() {
        resetDraw()
        reload(status: .load)
    }

    private func resetDraw() {
        drawImageView.reset()
        OpenCVManager.shared()?.resetManager()
    }

    private func startLoading() {
        UIApplication.shared.beginIgnoringInteractionEvents()
        indicatorView.startAnimating()
        indicatorBaseView.isHidden = false
        UIView.animate(withDuration: 0.1, animations: {
            self.indicatorBaseView.alpha = 1
        })
    }

    private func stopLoading() {
        UIApplication.shared.endIgnoringInteractionEvents()
        UIView.animate(withDuration: 0.3, animations: {
            self.indicatorBaseView.alpha = 0
        }, completion: { _ in
            self.indicatorView.stopAnimating()
            self.indicatorBaseView.isHidden = true
        })
    }
}

///1. 画像取得 + 前景矩形選択
extension ViewController {

    @IBAction func imagePickerButtonDidTap(_ sender: Any) {
        if UIImagePickerController.isSourceTypeAvailable(.photoLibrary) {
            let pickerC = UIImagePickerController()
            pickerC.sourceType = .photoLibrary
            pickerC.delegate = self
            present(pickerC, animated: true, completion: nil)
        } else {
            UIAlertController.show(title: "フォトライブラリの利用が許可されていません????", message: nil)
        }
    }

    @IBAction func cropButtonDidTap(_ sender: Any) {
        guard let img = sourceImageView.image else {
            assertionFailure()
            return
        }
        showCropViewController(image: img)
    }

    private func showCropViewController(image: UIImage) {
        let cropVC = CropViewController(image: image)
        cropVC.rotateButtonsHidden = true
        cropVC.title = "Rough outline of the subject"
        cropVC.delegate = self
        if let selectedRect = selectedRect {
            cropVC.imageCropFrame = selectedRect
        } else {
            cropVC.aspectRatioPreset = .presetSquare
        }
        present(cropVC, animated: true, completion: nil)
    }
}

extension ViewController: UIImagePickerControllerDelegate {
    func imagePickerController(_ picker: UIImagePickerController, didFinishPickingMediaWithInfo info: [UIImagePickerController.InfoKey : Any]) {
        guard let image = info[UIImagePickerController.InfoKey.originalImage] as? UIImage else {
            assertionFailure()
            return
        }
        //画像サイズ縮小
        let maxSize: CGFloat = 1800
        let imageMaxSize = max(image.size.width, image.size.height)
        let scale = imageMaxSize > maxSize ? maxSize / imageMaxSize : 1
        let resizeImg = image.scale(ratio: scale)
        sourceImageView.image = resizeImg
        imageSizeLabel.text = "(Int(resizeImg.size.width)) x (Int(resizeImg.size.height))"
        selectedRect = nil
        reset()
        self.dismiss(animated: true, completion: {
            self.showCropViewController(image: resizeImg)
        })
    }

}

extension ViewController: CropViewControllerDelegate {
    func cropViewController(_ cropViewController: CropViewController, didCropImageToRect rect: CGRect, angle: Int) {
        selectedRect = rect
        resetDraw()
        startLoading()
        cropViewController.dismiss(animated: true, completion: {
            self.doGrabCut()
            self.stopLoading()
        })
    }
}

///2. 矩形でGrabCutする
extension ViewController {
    private func doGrabCut() {
        maskImageView.image = doGrabCutWithRect()
        reload(status: .segment)
    }

    private func doGrabCutWithRect() -> UIImage? {
        guard let img = sourceImageView.image else {
            assertionFailure()
            return nil
        }

        //矩形取得
        let rect: CGRect
        if let selectedR = selectedRect {
            if selectedR.size == img.size {//矩形が画像と同じサイズのとき僅かに小さくして入力
                rect = CGRect(origin: CGPoint(x: selectedR.origin.x + 1, y: selectedR.origin.y + 1), size: CGSize(width: selectedR.size.width - 2, height: selectedR.size.height - 2))
            } else {
                rect = selectedR
            }
        } else {
            rect = CGRect(origin: CGPoint(x: 1, y: 1), size: CGSize(width: img.size.width - 2, height: img.size.height - 2))
        }

        return OpenCVManager.shared()?.doGrabCut(img, foregroundRect: rect, iterationCount: 1)
    }
}

///3.マスクでGrabCutする
extension ViewController {

}

該当のソースコード(OpenCVManager.h)

#ifndef OpenCVManager_h
#define OpenCVManager_h

#import <Foundation/Foundation.h>
#import <UIKit/UIKit.h>

@interface OpenCVManager : NSObject
+ (OpenCVManager*)sharedManager;

-(UIImage*)doGrabCut:(UIImage*)sourceImage foregroundRect:(CGRect) rect iterationCount:(int)iterCount;
-(UIImage*)doGrabCut:(UIImage*)sourceImage markersImage:(UIImage*)maskImage iterationCount:(int) iterCount;
-(UIImage*)doBlur:(CGFloat)blurSize isUpdatedSegmentation:(BOOL)isUpdatedSegmentation gradientMaskImage:(UIImage*)gradientMaskImage;
-(UIImage*)inpaintingImage;
-(UIImage*)blurWithoutGradientImage;
-(void) resetManager;
@end

#endif /* OpenCVManager_h */

試したこと

ブレイクポイントを付け、動作を確認しました。

すると、「EXC_RESOURCE RESOURCE_TYPE_MEMORY (limit=650 MB, unused=0x0)」のエラーメッセージが表示されました。
これは、実機（iPhone6）のメモリの限界である６５０MBを超えてしまったことによってクラッシュしてしまうということでしょうか。

試しに他のサイズが小さい画像（1280×1280、271KB）で実行した時は、上記のようなクラッシュは起こりませんでした。

ソースコードを修正することによって、メモリの負荷を抑えクラッシュを防ぐことは可能でしょうか。
稚拙な文章で失礼いたしますが、長時間調べても解決できなかったため、こちらで質問させていただきました。
ご教授のほど、よろしくお願いします。

補足情報（FW/ツールのバージョンなど）

Xcode Version 10.3 (10G8)
iOS 12.4.6
Swift Version 5.0.1

Comments

[hoshi-takanori]

1024×1024、1.1MB (圧縮サイズ？) の画像を処理するのに 650MB も必要なんですね。
でも、1280×1280、271MB は大丈夫なんですか？ なんか計算が合わない気がしますが。
とりあえず、画像が大きければ縮小するとかでしょうか。

[yamaji1108]

大変失礼いたしました。
エラーとなる方が、2448×2448の1.1MB
正常動作する方が、1280×1280の271KB
でした。早急に修正いたします。

[hoshi-takanori]

OpenCV は詳しくないのでよく分かりませんが、2448x2448 の画像が 1.1MB、1280×1280 の画像が 271kB というのはあくまでも JPEG や PNG などで圧縮した結果であって、実際に処理を行う場合にはメモリ上に展開する必要がありますのでもっと大きくなります。また、実際の処理を行う際にはたぶん元の画像を何度もコピーしていると思いますので、画像が大きければ大きいほどメモリをたくさん使うのではないかと。

で、ソースをよく見たら UIImagePickerControllerDelegate のところで画像を縮小しているので、let maxSize: CGFloat = 1800 の値を小さくすればいいのでは。

[yamaji1108]

ありがとうございます！ご指摘の通り、let maxSize: CGFloat = 1800の値を1400に変更したら、メモリー負荷が400MBちょっとに抑えられ、エラー解消いたしまいた！
本当に助かりました。

[yamaji1108]

Hoshi-takanori様
回答の方にも記載をお願いしてもよろしいでしょうか。
アンサーとしてこちらの質問をクローズしたいと思います。

Answer 1

画像が大きすぎるのだと思います。UIImagePickerControllerDelegate のところで画像を縮小しているので、let maxSize: CGFloat = 1800 の値を小さくすればいいのではないでしょうか。

extension ViewController: UIImagePickerControllerDelegate {
    func imagePickerController(_ picker: UIImagePickerController, didFinishPickingMediaWithInfo info: [UIImagePickerController.InfoKey : Any]) {
        //略
        //画像サイズ縮小
        let maxSize: CGFloat = 1800