cvPixelBufferから生成したUIImageがnilになってしまう

Question

###問題
CvPixelBufferをCIImage経由でUIImageにしたところ、UIImageViewには表示できるのに他の関数の引数に渡したらnilになってしまいます。

###この問題に到ったまで
下記のリンクでの質問について調査していくうちに本質的な問題は「cvPixelBufferから生成したUIImageがnilになってしまう」だと言うことに気付きました。

厳密にUIImageが生成された時からnilになっているのではなく、インスタンスは生成できていて、UIImageVireには表示できるのに、それ以外の用途で使おうとするとnilになります。
保存やcropなどです。最終的にはcropを目的としています。

https://teratail.com/questions/251832

###エラー文
当然ながら

Fatal error: Unexpectedly found nil while unwrapping an Optional value

###コード

self.videoImage = CIImage(cvPixelBuffer: videoPixelBuffer)
let scale = 3.008 
let image = UIImage(ciImage: self.videoImage!, scale: CGFloat(scale), orientation: .up)
let cropped = self.cropImage(image: image, cropRect: CGRect(x: 0, y: 0, width: 100, height: 100)) //Link参照 関数内部でnil

###追記
元々やりたいことは「カメラからの入力をcropしてUIImageとして取得する」ことだけなのにもう戦い始めて三日目です....(自分が全くの未熟者だからですが)お助けいただければ幸いです。

この問題に到ったまでの質問：https://teratail.com/questions/251832

Comments

[TsukubaDepot]

ciImage - The underlying Core Image data.
https://developer.apple.com/documentation/uikit/uiimage/1624129-ciimage

上記のリンクに

If the UIImage object was initialized using a CGImage, the value of the property is nil.

とありますが、これが原因ではありませんか。そうなると当然

let cropRef = image.cgImage!.cropping(to: cropRect)

のcgImage は nil となるので必ず失敗します。

[TsukubaDepot]

示すところを間違えていました。
でも、
CGImage - The underlying Quartz image data.
https://developer.apple.com/documentation/uikit/uiimage/1624159-cgimage

If the UIImage object was initialized using a CIImage object, the value of the property is NULL.

とありますから、CIImageからUIImageを作るとやっぱりnilになりそうな気がします。

[chestnutforest]

つまるところ、
CIImage -> UIImage -> CGImage ->UIImageという変換ではダメということですね。(今見るとおもいっきり遠回りしてますね)

最後に、解答していただき誠にありがとうございます。

前問をクリップしてくださっている方々がいるので、そちらのほうを考慮して頑張って解決しようと思います。なにか案がありましたらご提示いただけると幸いです。

CIImage -> CGImage -> UIImageの変換でcropすればよいということになりますが、実はこれはすでに試していて別の問題に行きついた気がします....（忘れました、すみません）また一段落して方針が付きましたら改めて投稿させて頂きます。

[chestnutforest]

回答していただき、誠にありがとうございます。

[ch3cooh]

CIImageに縁がなくて確実な回答を書くことができないのですが、

1. CGImageにアクセスしなくても良いように CIImage -> UIImageを生成して `UIImage#draw()` の方を利用する。
2. `CIImage#cropped` を利用する

で解決しないでしょうか。2に関しては利用例が下記のリポジトリで公開されています。

* https://github.com/Coeur/ImageEffects/blob/master/SwiftImageEffects/ImageEffects%2Bextensions.swift

```
extension UIImage {
open func cropped(to rect: CGRect) -> UIImage {
// a UIImage is either initialized using a CGImage, a CIImage, or nothing
if let cgImage = self.cgImage {
// CGImage.cropping(to:) is magnitudes faster than UIImage.draw(at:)
if let cgCroppedImage = cgImage.cropping(to: rect) {
return UIImage(cgImage: cgCroppedImage)
} else {
return UIImage()
}
}
if let ciImage = self.ciImage {
// Core Image's coordinate system mismatch with UIKit, so rect needs to be mirrored.
var ciRect = rect
ciRect.origin.y = ciImage.extent.height - ciRect.origin.y - ciRect.height
let ciCroppedImage = ciImage.cropped(to: ciRect)
return UIImage(ciImage: ciCroppedImage)
}
return self
}
}
```

[chestnutforest]

->ch3coohさん
こちらのほうでも試して実際に動くか試してみます。
私の様々な質問にお答えくださり、誠にお世話になっております！

結果のほうは明日辺りにまとめさせていただきます。

[chestnutforest]

->ch3coohさん
こちらでも動きました！ありがとうございます！

Answer 1

自分の古い記事ですが、以下のコードを使ってcropしてもらえればもしかしたら動くかもしれません。
https://qiita.com/takabosoft/items/391b7593f0b9ef7d77a5

※cgImageにアクセスしていますが、ちゃんとアンラップしているので落ちはしないはず（必ずopaque=falseになるのでメモリ喰うかもですが）

Comments

[chestnutforest]

ご回答誠にありがとうございます。
私のコードにご提示いただいた記事のコードを当てはめたら動きました！
大変お世話になりました。