編集履歴

回答編集履歴

音声認識のサンプルを追加

2020/03/22 23:25

投稿

スコア5086

answer CHANGED Viewed

@@ -10,4 +10,229 @@
 いろいろ試した感じ、一区切りの発話で認識させる方法（一旦認識を終了させる方法）は不可能ではなさそうです。
-ただ、運悪く認識できない場合は現在の結果がその後の認識結果に影響を与えてしまうので、それをどのようにして防ぐか考える必要がありそうです。
+ただ、運悪く認識できない場合は現在の結果がその後の認識結果に影響を与えてしまうので、それをどのようにして防ぐか考える必要がありそうです。
+---
+決して褒められた例ではないと思いますが、ひとまとまりの発話で認識を完了させるようなサンプルコードをつくってみました。
+[Qiitaの記事](https://qiita.com/chino_tweet/items/027c432cfb983f95679a)を参考にしています。
+[Qiitaの記事](https://qiita.com/chino_tweet/items/027c432cfb983f95679a)を含め、多くの例題が認識完了後の処理をクロージャで行っていますが、それだとうまくいかない処理もあるので、この例では delegate で処理させています。
+「ひとまとまりで処理を完了する」というメソッドはないので、かわりに「もっともらしさ（confidence）」が0.94を超えた場合には認識を中断するようにしています。
+これでもそこそこ認識してくれますが、**問題は「もっともらしさ（confidence）が0.94以下の場合には認識を中断せず、認識を継続する」点**にあります。
+なにが問題かと言うと、「こんにちは」と発話しても認識に成功せず、その後「おはようございます」と続けて発話した場合、2回目に発話した「おはようございます」ではなく、**1回目の発話である「こんにちは」も含め、「こんにちはおはようございます」という一つの発話として認識を行なってしまう**点です。
+当然このような場合、「もっともらしさ（confidence）」はどんどん下がる一方なので、まずその後認識に成功することはありません。
+なので、ある一定時間認識に成功しなかった場合には、強制的に認識を中断する（Amazon Alexaであれば
+ごめんなさい。認識できませんでした」の状態）方法を実装する必要があります（`SFSpeechRecognizer`は無音性が1分続くと認識を中断しますが、それ以外の方法が必要だと言う意味です）。
+```swift
+import UIKit
+import Speech
+class ViewController: UIViewController,SFSpeechRecognizerDelegate, SFSpeechRecognitionTaskDelegate {
+    //UIラベルの変数
+    @IBOutlet weak var textView: UITextView!
+    @IBOutlet weak var recordButton: UIButton!
+    //UIボタンの変数
+    @IBAction func recordButton(_ sender: UIButton) {
+        if audioEngine.isRunning {
+            // 音声エンジン動作中なら停止
+            audioEngine.stop()
+            recognitionRequest?.endAudio()
+            recordButton.isEnabled = false
+            recordButton.setTitle("Stopping", for: .disabled)
+            recordButton.backgroundColor = UIColor.lightGray
+            return
+        }
+        // 録音を開始する
+        try! startRecording()
+        recordButton.setTitle("認識を完了する", for: [])
+        recordButton.backgroundColor = UIColor.red
+    }
+    //メンバプロパティでタスクのオブジェクトを宣言
+    private var recognitionTask: SFSpeechRecognitionTask?
+    //認識リクエストのインスタンスを宣言
+    private var recognitionRequest: SFSpeechAudioBufferRecognitionRequest?
+    //SFSpeechRecognizerインスタンスを生成
+    //日本語に指定
+    private let speechRecognizer = SFSpeechRecognizer(locale: Locale(identifier: "ja-JP"))!
+    //端末のマイクを使う準備
+    private let audioEngine = AVAudioEngine()
+    override func viewDidLoad() {
+        super.viewDidLoad()
+        // Do any additional setup after loading the view.
+        //マイクの許可をデフォルトでは無効にしておく
+        recordButton.isEnabled = false
+    }
+    // 画面に表示される直前に呼ばれます。
+    override func viewWillAppear(_ animated: Bool) {
+        speechRecognizer.delegate = self  // デリゲート先になる
+        SFSpeechRecognizer.requestAuthorization { (status) in
+            OperationQueue.main.addOperation {
+                switch status {
+                case .authorized:   // 許可OK
+                    self.recordButton.isEnabled = true
+                    self.recordButton.backgroundColor = UIColor.blue
+                case .denied:       // 拒否
+                    self.recordButton.isEnabled = false
+                    self.recordButton.setTitle("録音許可なし", for: .disabled)
+                case .restricted:   // 限定
+                    self.recordButton.isEnabled = false
+                    self.recordButton.setTitle("このデバイスでは無効", for: .disabled)
+                case .notDetermined:// 不明
+                    fallthrough
+                @unknown default:
+                    self.recordButton.isEnabled = false
+                    self.recordButton.setTitle("録音機能が無効", for: .disabled)
+                }
+            }
+        }
+    }
+    private func startRecording() throws {
+        //ここに録音する処理を記述
+        //オプショナルバインディング
+        if let recognitionTask = recognitionTask {
+            // 既存タスクがあればキャンセルしてリセット
+            recognitionTask.cancel()
+            self.recognitionTask = nil
+        }
+        let audioSession = AVAudioSession.sharedInstance()
+        try audioSession.setCategory(AVAudioSession.Category.record)
+        try audioSession.setMode(AVAudioSession.Mode.measurement)
+        try audioSession.setActive(true)
+        //認識開始の前に認識リクエストを初期化
+        recognitionRequest = SFSpeechAudioBufferRecognitionRequest()
+        guard let recognitionRequest = recognitionRequest else { fatalError("リクエスト生成エラー") }
+        //録音完了前に途中の結果を報告してくれる
+        recognitionRequest.shouldReportPartialResults = true
+        //audioEngineインスタンスのinputNodeプロパティを取得する
+        let inputNode = audioEngine.inputNode
+        recognitionTask = speechRecognizer.recognitionTask(with: recognitionRequest, delegate: self)
+        //マイクからの録音フォーマット
+        let recordingFormat = inputNode.outputFormat(forBus: 0)
+        inputNode.installTap(onBus: 0, bufferSize: 1024, format: recordingFormat) { (buffer: AVAudioPCMBuffer, when: AVAudioTime) in
+            self.recognitionRequest?.append(buffer)
+        }
+        //オーディオエンジンで録音を開始して、テキスト表示を変更する
+        audioEngine.prepare()   // オーディオエンジン準備
+        try audioEngine.start() // オーディオエンジン開始
+        textView.text = "Hello World"
+    }
+    // delegate
+    //音声認識機能の状態が変化するタイミングで呼ばれる
+    //録音ボタンの有効と無効を切り替える
+    public func speechRecognizer(_ speechRecognizer: SFSpeechRecognizer, availabilityDidChange available: Bool) {
+        if available {
+            // 利用可能になったら、録音ボタンを有効にする
+            recordButton.isEnabled = true
+            recordButton.setTitle("Start Recording", for: [])
+            recordButton.backgroundColor = UIColor.blue
+        } else {
+            // 利用できないなら、録音ボタンは無効にする
+            recordButton.isEnabled = false
+            recordButton.setTitle("現在、使用不可", for: .disabled)
+        }
+    }
+    // delegate
+    func speechRecognitionTask(_ task: SFSpeechRecognitionTask, didFinishSuccessfully successfully: Bool) {
+        print(#function)
+        print("isCanceled: (task.isCancelled)")
+        // 認識された場合には successfullt は true になる
+        // 1分経って認識がキャンセルされた場合には、successfully は false になる
+        print("successfully: (successfully)")
+        audioEngine.stop()
+        audioEngine.inputNode.removeTap(onBus: 0)
+        recognitionRequest = nil
+        recognitionTask = nil
+        recordButton.isEnabled = true
+        recordButton.setTitle("Start Recording", for: [])
+        recordButton.backgroundColor = UIColor.blue
+        // 強制的に再開させるのであれば、ここにコードを記述する
+        // 録音を開始する
+          try! startRecording()
+          recordButton.setTitle("認識を完了する", for: [])
+          recordButton.backgroundColor = UIColor.red
+    }
+    func speechRecognitionTask(_ task: SFSpeechRecognitionTask, didFinishRecognition recognitionResult: SFSpeechRecognitionResult) {
+        print(#function)
+    }
+    func speechRecognitionDidDetectSpeech(_ task: SFSpeechRecognitionTask) {
+        print(#function)
+    }
+    func speechRecognitionTask(_ task: SFSpeechRecognitionTask, didHypothesizeTranscription transcription: SFTranscription) {
+        print(#function)
+        switch task.state {
+        case .completed:
+            // 完全に終了
+            print("完全に終了")
+        case .finishing:
+            // 録音は完了したが、認識は継続している
+            print("認識継続中")
+        case .canceling:
+            // キャンセル中
+            print("キャンセル中")
+        case .running:
+            // 認識中
+            print("認識中")
+        case .starting:
+            // 開始
+            print("開始")
+        @unknown default:
+            // 想定外
+            fatalError()
+        }
+        // 認識中に呼ばれる
+        if transcription.segments[0].confidence > 0.94 {
+//            This property reflects the overall confidence in the recognition of the entire phrase. The value is 0 if there was no recognition, and it is closer to 1 when there is a high certainty that a transcription matches the user's speech exactly. For example, a confidence value of 0.94 represents a very high confidence level, and is more likely to be correct than a transcription with a confidence value of 0.72.
+            if audioEngine.isRunning {
+            dump(transcription)
+            print(transcription.formattedString)
+                textView.text = transcription.formattedString
+            // 音声エンジン動作中なら停止
+                audioEngine.stop()
+                recognitionRequest?.endAudio()
+                recordButton.isEnabled = false
+                recordButton.setTitle("Stopping", for: .disabled)
+                recordButton.backgroundColor = UIColor.lightGray
+            }
+        }
+    }
+}
+```