Firebaseを使って文字解析したい(swift)

Question

やりたいこと

Firebaseの画像から文字を解析するサービスをXcodeから利用したいです。
公式のドキュメントが出ており、それ通りにやってみたのですが上手くいきません。
エラーも出ず、何が間違っているのかが分からないので質問させていただきます。

参考にしているドキュメント

作成したプロジェクトで手を加えた部分は以下になります。

import UIKit
import FirebaseFunctions

class ViewController: UIViewController {
    
    lazy var functions = Functions.functions()
    
    override func viewDidLoad() {
        super.viewDidLoad()
        // Do any additional setup after loading the view.
        //UIImage(named: "sample1")は手書き文字の書かれた画像
        guard let imageData = UIImage(named: "sample1")!.jpegData(compressionQuality: 1.0) else { return }
        let base64encodedImage = imageData.base64EncodedString()
        
        let requestData = [
            "image": ["content": base64encodedImage],
            "features": ["type": "TEXT_DETECTION"],
            "imageContext": ["languageHints": ["en"]]
        ]
        
        functions.httpsCallable("annotateImage").call(requestData) { (result, error) in
            if let error = error as NSError? {
                if error.domain == FunctionsErrorDomain {
                    let code = FunctionsErrorCode(rawValue: error.code)
                    let message = error.localizedDescription
                    let details = error.userInfo[FunctionsErrorDetailsKey]
                }
                // ...
            }
            // Function completed succesfully
            guard let annotation = (result?.data as? [String: Any])?["fullTextAnnotation"] as? [String: Any] else { return }
            print("%nComplete annotation:")
            let text = annotation["text"] as? String ?? ""
            print("%n(text)")
        }
    }
}

import UIKit
import Firebase

@main
class AppDelegate: UIResponder, UIApplicationDelegate {

    func application(_ application: UIApplication, didFinishLaunchingWithOptions launchOptions: [UIApplication.LaunchOptionsKey: Any]?) -> Bool {
        // Override point for customization after application launch.
        FirebaseApp.configure()
        return true
    }

    // MARK: UISceneSession Lifecycle

    func application(_ application: UIApplication, configurationForConnecting connectingSceneSession: UISceneSession, options: UIScene.ConnectionOptions) -> UISceneConfiguration {
        // Called when a new scene session is being created.
        // Use this method to select a configuration to create the new scene with.
        return UISceneConfiguration(name: "Default Configuration", sessionRole: connectingSceneSession.role)
    }

    func application(_ application: UIApplication, didDiscardSceneSessions sceneSessions: Set<UISceneSession>) {
        // Called when the user discards a scene session.
        // If any sessions were discarded while the application was not running, this will be called shortly after application:didFinishLaunchingWithOptions.
        // Use this method to release any resources that were specific to the discarded scenes, as they will not return.
    }


}

# Uncomment the next line to define a global platform for your project
platform :ios, ‘10.0’

target 'manjuutegaki' do
  # Comment the next line if you don't want to use dynamic frameworks
  use_frameworks!

pod 'Firebase/Analytics'
pod 'Firebase/Auth'
pod 'Firebase/Firestore'
pod 'Firebase/Functions'

end

実行したところエラーは無く、正しく動けば画像から検出したテキストが出力されるはずなのですが、
コンソールには以下のメッセージのみ表示されます。

2021-04-09 11:53:37.293492+0900 manjuutegaki[3701:1867764] Metal API Validation Enabled

やったこと

基本的にはドキュメント通りに操作しましたが、
FirebaseとGCPのプロジェクト作成手順や、関数のデプロイに問題がある可能性があるので詳しく記載します。

1.GoogleCloudPlatformで新しいプロジェクトを作成する。
2.Firebaseで新しいプロジェクトを作成する（その際、先ほどGCPで作成したプロジェクトを選択し追加）
3.Firebaseの課金設定をBlazeに変更
4.Xcodeで新しいプロジェクトを作成し、FirebaseでそのxcodeプロジェクトのバンドルIDを入力し、アプリを登録
5.4の際にGoogleService-Info.plistをダウンロードし、xcodeに配置
6.GoogleCloudPlatformのプロジェクトの認証情報を開き、APIキーの編集から、APIキーの制限からcloudVisionAPIを選択
*ここでAPIキーにiOSkeyとBrowerkeyの２種類があるのが謎です。２種類とも↑の操作を行いました。
*制限なしにして実行してみましたが、結果は同じでした。
7.ドキュメントにあるfunctions-samplesを適当なフォルダにダウンロードしドキュメント通りのコマンドを実行
*ここでvision-annotate-imageがなく、vision-annotate-imagesならあるのですがドキュメントが間違っている？
8.firebase initコマンドを実行し、選択項目は◉ Hosting: Configure and deploy Firebase Hosting sites、
YES/NOはすべてNO、次にUse an existing project(多分これだったと思います、一番上の選択肢)→Firebaseのプロジェクトを選択
9.最後にfirebase deploy --only functions:annotateImageを実行

すべてエラーなどなく実行できています。
あとは、先述したコードを記述して実行した次第です。

上記の手順で間違っているところがないか、コードの部分でおかしなところがないかなど、
わかる方いましたら、よろしくお願いいたします。

開発環境

Xcode 12.4
Mac 11.2.3
iOS 14.4.2

Comments

[hoshi-takanori]

https://cloud.google.com/vision/docs/languages?hl=ja より、
> 手書き OCR 一般提供のリリースに伴い、DOCUMENT_TEXT_DETECTION を使用する場合、手書き文字の含まれた画像には手書き languageHints フラグが不要になりました。
ってことなので、TEXT_DETECTION だと手書き文字は対応してないのかも？

[onigiriZ]

コメントありがとうございます。
確かに手書き文字は、TEXT_DETECTIONではなくDOCUMENT_TEXT_DETECTIONを使用するべきなようです。ですが、今回の問題の直接的な原因ではなかったようです。

Answer 1

firebaseを介さずに、直接googleCloudPlatformのvisionAPIを呼び出す形で解決しました。
import SwiftyJSON
import Alamofire　を追加した上で、以下のコードを走らせると解析結果を表示できました。

 //文字解析して表示
    func mozikaiseki(image:UIImage){
        let imageV = myimageview(image: image)
        imageV.setup(vc: self)
        self.view.addSubview(imageV)
        
        guard let imageData = image.pngData() else { return }
        let base64ImageString = imageData.base64EncodedString()
        let parameters = [
            "requests": [
                [
                    "image": [
                        "content": base64ImageString
                    ],
                    "features": [
                        [
                            "type": "DOCUMENT_TEXT_DETECTION"
                        ]
                    ]
                ]
            ]
        ] as [String : Any]
        let APIKey = "APIKEY"
        
        //通信
        AF.request(URL(string: "https://vision.googleapis.com/v1/images:annotate?key=" + APIKEY)!, method: .post, parameters: parameters, encoding: JSONEncoding.default).responseJSON{(response) in
            switch(response.result){
            case .success:
                let json:JSON = JSON(response.data as Any)
                let kaisekiStr = json["responses"][0]["fullTextAnnotation"]["text"]
                print(kaisekiStr)
            case .failure(let error):
                print(error)
            }
        }
    }