UnityネイティブプラグインでIOSの音声認識APIを使ったアプリを考えております。
APIのサンプルコードがあったためなんとか音声認識を使えるところまでは出来たのですが、今のままでは、画面の認識停止(Stop)を押すまでずっと認識し続けてしまうため
「ユーザーの声が無くなって○秒立ったら音声認識を停止!」
みたいな形の仕様にしたいと考えているのですが、どういった方法だと可能でしょうか?
プログラムはSwift3で書いています。
Swiftについては全くの初心者なためどなたかお力をお貸しください。
import Foundation import Speech public class SpeechRecognizer : NSObject { static let sharedInstance: SpeechRecognizer = SpeechRecognizer() private var _unitySendMessageGameObjectName: String = "SpeechRecognizer" var unitySendMessageGameObjectName: String { get { return _unitySendMessageGameObjectName } set { _unitySendMessageGameObjectName = newValue } } private let speechRecognizer = SFSpeechRecognizer(locale: Locale(identifier: "ja-JP"))! private var recognitionRequest: SFSpeechAudioBufferRecognitionRequest? private var recognitionTask: SFSpeechRecognitionTask? private let audioEngine = AVAudioEngine() private override init() { super.init() speechRecognizer.delegate = self } func requestRecognizerAuthorization() { SFSpeechRecognizer.requestAuthorization { authStatus in OperationQueue.main.addOperation { switch authStatus { case .authorized: self.unitySendMessage("OnAuthorized") break case .denied: self.unitySendMessage("OnUnauthorized") case .restricted: self.unitySendMessage("OnUnauthorized") case .notDetermined: self.unitySendMessage("OnUnauthorized") } } } } func startRecord() -> Bool { if audioEngine.isRunning { return false } try! startRecording() return true } func stopRecord() -> Bool { if !audioEngine.isRunning { return false } audioEngine.stop() recognitionRequest?.endAudio() return true } private func startRecording() throws { refreshTask() let audioSession = AVAudioSession.sharedInstance() try audioSession.setCategory(AVAudioSessionCategoryRecord) try audioSession.setMode(AVAudioSessionModeMeasurement) try audioSession.setActive(true, with: .notifyOthersOnDeactivation) recognitionRequest = SFSpeechAudioBufferRecognitionRequest() guard let inputNode = audioEngine.inputNode else { fatalError("Audio engine has no input node") } guard let recognitionRequest = recognitionRequest else { fatalError("Unable to created a SFSpeechAudioBufferRecognitionRequest object") } recognitionRequest.shouldReportPartialResults = true recognitionTask = speechRecognizer.recognitionTask(with: recognitionRequest) { result, error in var isFinal = false if let result = result { self.unitySendMessage("OnRecognized", message: result.bestTranscription.formattedString) isFinal = result.isFinal } if error != nil || isFinal { self.audioEngine.stop() inputNode.removeTap(onBus: 0) self.recognitionRequest = nil self.recognitionTask = nil self.unitySendMessage("OnError", message: error.debugDescription) } } let recordingFormat = inputNode.outputFormat(forBus: 0) inputNode.installTap(onBus: 0, bufferSize: 1024, format: recordingFormat) { (buffer: AVAudioPCMBuffer, when: AVAudioTime) in self.recognitionRequest?.append(buffer) } try startAudioEngine() } private func refreshTask() { if let recognitionTask = recognitionTask { recognitionTask.cancel() self.recognitionTask = nil } } private func startAudioEngine() throws { audioEngine.prepare() try audioEngine.start() } func unitySendMessage(_ methodName: String, message: String = "") { UnitySendMessage(self.unitySendMessageGameObjectName, methodName, message) } } extension SpeechRecognizer: SFSpeechRecognizerDelegate { public func speechRecognizer(_ speechRecognizer: SFSpeechRecognizer, availabilityDidChange available: Bool) { if (available) { unitySendMessage("OnAvailable") } else { unitySendMessage("OnUnavailable") } } }
追記
ネット上で検索していたところ、
https://stackoverflow.com/questions/45111072/swift-stop-speech-recognition-after-x-seconds-of-silence#
上記のサイトで同じ内容の記事を見つけたのですが、コードの内容が理解できず困っています。
recognitionTask = speechRecognizer?.recognitionTask(with: recognitionRequest, resultHandler: { (result, error) in var isFinal = false if result != nil { self.inputTextView.text = result?.bestTranscription.formattedString isFinal = (result?.isFinal)! } if let timer = self.detectionTimer, timer.isValid { if isFinal { self.inputTextView.text = "" self.textViewDidChange(self.inputTextView) self.detectionTimer?.invalidate() } } else { self.detectionTimer = Timer.scheduledTimer(withTimeInterval: 1.5, repeats: false, block: { (timer) in self.handleSend() isFinal = true timer.invalidate() }) } })
上記のコードの中の
self.textViewDidChange(self.inputTextView)
このtextViewDidChangeについて、公式HPの説明を読んでもどういう意味なのか理解できず困っています。
https://developer.apple.com/documentation/uikit/uitextviewdelegate/1618599-textviewdidchange
どなたか教えていただけると助かります。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/10/20 05:24