音声でiOSアプリを動かしたい

Question

現在開発中のアプリを開発中なのですが、そのアプリを音声のみで動かしたいと考えています。
しかし調べてみると、ボタンを押すと音声認識が始まるというものばかりです。
常時音声認証可能にしたいのですがどうすればいいのでしょうか、どなたか教えてください。

Answer 1

常時認識にしたいのであれば、ボタンを押したときに開始する音声認識の処理をアプリの起動時から開始するようにするだけでいいと思います。

ただし、SFSpeechRecognizerを使った音声認識では、次のような制限が発生してしまいます。

• 精度は高いが、本体の負荷も高い（おそらくバッテリ消費がハンパない）
• 日本語で音声認識するためには、オンライン状態でなければならない
• 1時間に認識できる音声認識の回数の上限は1000回まで
• 一区切りの発話(single utterance)で認識する方法が確立されていない

一番厄介なのは、一区切りの発話で認識する方法がAppleが提供するフレームワークとして存在していなさそうな点です（私の調べ方が足りないだけだと思いますが）。

いろいろ試した感じ、一区切りの発話で認識させる方法（一旦認識を終了させる方法）は不可能ではなさそうです。

ただ、運悪く認識できない場合は現在の結果がその後の認識結果に影響を与えてしまうので、それをどのようにして防ぐか考える必要がありそうです。

---

決して褒められた例ではないと思いますが、ひとまとまりの発話で認識を完了させるようなサンプルコードをつくってみました。

Qiitaの記事を参考にしています。

Qiitaの記事を含め、多くの例題が認識完了後の処理をクロージャで行っていますが、それだとうまくいかない処理もあるので、この例では delegate で処理させています。

「ひとまとまりで処理を完了する」というメソッドはないので、かわりに「もっともらしさ（confidence）」が0.94を超えた場合には認識を中断するようにしています。

これでもそこそこ認識してくれますが、問題は「もっともらしさ（confidence）が0.94以下の場合には認識を中断せず、認識を継続する」点にあります。

なにが問題かと言うと、「こんにちは」と発話しても認識に成功せず、その後「おはようございます」と続けて発話した場合、2回目に発話した「おはようございます」ではなく、1回目の発話である「こんにちは」も含め、「こんにちはおはようございます」という一つの発話として認識を行なってしまう点です。

当然このような場合、「もっともらしさ（confidence）」はどんどん下がる一方なので、まずその後認識に成功することはありません。

なので、ある一定時間認識に成功しなかった場合には、強制的に認識を中断する（Amazon Alexaであれば
ごめんなさい。認識できませんでした」の状態）方法を実装する必要があります（SFSpeechRecognizerは無音性が1分続くと認識を中断しますが、それ以外の方法が必要だと言う意味です）。

import UIKit
import Speech

class ViewController: UIViewController,SFSpeechRecognizerDelegate, SFSpeechRecognitionTaskDelegate {
    
    //UIラベルの変数
    @IBOutlet weak var textView: UITextView!
    @IBOutlet weak var recordButton: UIButton!
    //UIボタンの変数
    @IBAction func recordButton(_ sender: UIButton) {
        if audioEngine.isRunning {
            // 音声エンジン動作中なら停止
            audioEngine.stop()
            recognitionRequest?.endAudio()
            recordButton.isEnabled = false
            recordButton.setTitle("Stopping", for: .disabled)
            recordButton.backgroundColor = UIColor.lightGray
            return
        }
        // 録音を開始する
        try! startRecording()
        recordButton.setTitle("認識を完了する", for: [])
        recordButton.backgroundColor = UIColor.red
    }
    //メンバプロパティでタスクのオブジェクトを宣言
    private var recognitionTask: SFSpeechRecognitionTask?
    //認識リクエストのインスタンスを宣言
    private var recognitionRequest: SFSpeechAudioBufferRecognitionRequest?
    
    //SFSpeechRecognizerインスタンスを生成
    //日本語に指定
    private let speechRecognizer = SFSpeechRecognizer(locale: Locale(identifier: "ja-JP"))!
    
    //端末のマイクを使う準備
    private let audioEngine = AVAudioEngine()
    
    override func viewDidLoad() {
        super.viewDidLoad()
        // Do any additional setup after loading the view.
        
        //マイクの許可をデフォルトでは無効にしておく
        recordButton.isEnabled = false
    }
    
    // 画面に表示される直前に呼ばれます。
    override func viewWillAppear(_ animated: Bool) {
        speechRecognizer.delegate = self  // デリゲート先になる
        SFSpeechRecognizer.requestAuthorization { (status) in
            OperationQueue.main.addOperation {
                switch status {
                case .authorized:   // 許可OK
                    self.recordButton.isEnabled = true
                    self.recordButton.backgroundColor = UIColor.blue
                case .denied:       // 拒否
                    self.recordButton.isEnabled = false
                    self.recordButton.setTitle("録音許可なし", for: .disabled)
                case .restricted:   // 限定
                    self.recordButton.isEnabled = false
                    self.recordButton.setTitle("このデバイスでは無効", for: .disabled)
                case .notDetermined:// 不明
                    fallthrough
                @unknown default:
                    self.recordButton.isEnabled = false
                    self.recordButton.setTitle("録音機能が無効", for: .disabled)
                }
            }
        }
    }
    
    private func startRecording() throws {
        //ここに録音する処理を記述
        //オプショナルバインディング
        if let recognitionTask = recognitionTask {
            // 既存タスクがあればキャンセルしてリセット
            recognitionTask.cancel()
            self.recognitionTask = nil
        }
        
        let audioSession = AVAudioSession.sharedInstance()
        try audioSession.setCategory(AVAudioSession.Category.record)
        try audioSession.setMode(AVAudioSession.Mode.measurement)
        try audioSession.setActive(true)
        
        //認識開始の前に認識リクエストを初期化
        recognitionRequest = SFSpeechAudioBufferRecognitionRequest()
        guard let recognitionRequest = recognitionRequest else { fatalError("リクエスト生成エラー") }
        
        //録音完了前に途中の結果を報告してくれる
        recognitionRequest.shouldReportPartialResults = true
        
        //audioEngineインスタンスのinputNodeプロパティを取得する
        let inputNode = audioEngine.inputNode
        
        recognitionTask = speechRecognizer.recognitionTask(with: recognitionRequest, delegate: self)
        
        
        //マイクからの録音フォーマット
        let recordingFormat = inputNode.outputFormat(forBus: 0)
        
        inputNode.installTap(onBus: 0, bufferSize: 1024, format: recordingFormat) { (buffer: AVAudioPCMBuffer, when: AVAudioTime) in
            self.recognitionRequest?.append(buffer)
        }
        
        //オーディオエンジンで録音を開始して、テキスト表示を変更する
        audioEngine.prepare()   // オーディオエンジン準備
        try audioEngine.start() // オーディオエンジン開始
        
        textView.text = "Hello World"
        
    }
    
    // delegate
    //音声認識機能の状態が変化するタイミングで呼ばれる
    //録音ボタンの有効と無効を切り替える
    public func speechRecognizer(_ speechRecognizer: SFSpeechRecognizer, availabilityDidChange available: Bool) {
        if available {
            // 利用可能になったら、録音ボタンを有効にする
            recordButton.isEnabled = true
            recordButton.setTitle("Start Recording", for: [])
            recordButton.backgroundColor = UIColor.blue
        } else {
            // 利用できないなら、録音ボタンは無効にする
            recordButton.isEnabled = false
            recordButton.setTitle("現在、使用不可", for: .disabled)
        }
    }
    
    // delegate
    func speechRecognitionTask(_ task: SFSpeechRecognitionTask, didFinishSuccessfully successfully: Bool) {
        print(#function)
        print("isCanceled: (task.isCancelled)")
        // 認識された場合には successfullt は true になる
        // 1分経って認識がキャンセルされた場合には、successfully は false になる
        print("successfully: (successfully)")
        
        audioEngine.stop()
        audioEngine.inputNode.removeTap(onBus: 0)
        
        recognitionRequest = nil
        recognitionTask = nil
        
        recordButton.isEnabled = true
        recordButton.setTitle("Start Recording", for: [])
        recordButton.backgroundColor = UIColor.blue
        
        // 強制的に再開させるのであれば、ここにコードを記述する
        // 録音を開始する
          try! startRecording()
          recordButton.setTitle("認識を完了する", for: [])
          recordButton.backgroundColor = UIColor.red
    }
    
    func speechRecognitionTask(_ task: SFSpeechRecognitionTask, didFinishRecognition recognitionResult: SFSpeechRecognitionResult) {
        print(#function)
    }
    
    func speechRecognitionDidDetectSpeech(_ task: SFSpeechRecognitionTask) {
        print(#function)
    }
    
    func speechRecognitionTask(_ task: SFSpeechRecognitionTask, didHypothesizeTranscription transcription: SFTranscription) {
        print(#function)
        
        switch task.state {
        case .completed:
            // 完全に終了
            print("完全に終了")
        case .finishing:
            // 録音は完了したが、認識は継続している
            print("認識継続中")
        case .canceling:
            // キャンセル中
            print("キャンセル中")
        case .running:
            // 認識中
            print("認識中")
        case .starting:
            // 開始
            print("開始")
        @unknown default:
            // 想定外
            fatalError()
        }
        
        // 認識中に呼ばれる
        if transcription.segments[0].confidence > 0.94 {
//            This property reflects the overall confidence in the recognition of the entire phrase. The value is 0 if there was no recognition, and it is closer to 1 when there is a high certainty that a transcription matches the user's speech exactly. For example, a confidence value of 0.94 represents a very high confidence level, and is more likely to be correct than a transcription with a confidence value of 0.72.
            if audioEngine.isRunning {
            dump(transcription)
            print(transcription.formattedString)
                textView.text = transcription.formattedString

            // 音声エンジン動作中なら停止
                audioEngine.stop()
                recognitionRequest?.endAudio()
                recordButton.isEnabled = false
                recordButton.setTitle("Stopping", for: .disabled)
                recordButton.backgroundColor = UIColor.lightGray
            }
        }
    }
}

Comments

[sakku727]

回答ありがとうございます。
ちなみに、あらかじめいくつか単語を用意して、その単語を発音すると一定の動作をするようにはできませんか？

[TsukubaDepot]

私が調べた範囲だと、特定の語彙を登録し、それをキーに何かを行うような処理は見つかりませんでした。
もしかしたら、誰かがそのような機能を実装し、githubなどで公開しているかもしれませんが。

同じような機能を自分で実装することはさほど難しくなさそうですが（認識結果の単語と登録した単語を逐一比較するだけなので）、精度と処理速度のトレードオフを決定することの方が難しいかもしれません。

[TsukubaDepot]

実証するのに使ったサンプルコードを追記しました。ここから先、「その単語を発音すると一定の動作をする」実装が腕の見せ所だとおもいますが、それ自身はさほど難しくはないと思います。

[sakku727]

サンプルコードまでありがとうございます！これを参考に作ってみようと思います。