VRアプリでの音声入力の実装

Question

前提・実現したいこと

こんばんは
現在google cardboardとunityを用いてごく簡単なandroid向けのウォークスルー型VRアプリを制作してるのですが
その中で、『ある限定されたエリア内においてプレイヤーが発声した特定の単語に応じてオブジェクトのアニメーションが変化する』
という機能を実装したいのですがその方法が恥ずかしながら皆目見当がつきません。

アプリ内での流れとしましては
『コライダーとプレイヤーの衝突をトリガーとして音声認識がオン』
↓
『特定の単語（転がれ、跳べ等）をプレイヤーが発声』
↓
『発声された単語によってアニメーションが変化』
になります

音声認識APIを用いて音声をテキスト化し、switch文の中で照合させて合致したcase内の処理によってアニメーションを変えるという流れなのでしょうか
その場合でも『そもそもAPIをどの様に用いれば上記の処理が出来るのか』が分からない状態です。

私自身の能力以上の出過ぎたことをしている自覚はありますが、どうしても完成させたいのでどうかよろしくお願いします。

補足情報（FW/ツールのバージョンなど）

Unity 2019.3.14f1

Comments

[YAmaGNZ]

もう少し処理を細分化して、何が分からないのかを明確にする必要があるかと思います。

Answer 1

音声認識APIを用いて音声をテキスト化し、switch文の中で照合させて合致したcase内の処理によってアニメーションを変えるという流れなのでしょうか

その処理で大丈夫です。

『そもそもAPIをどの様に用いれば上記の処理が出来るのか』が分からない

unityで利用できる音声認識APIは以下のようなものがあります。
・UnityEngine.Windows.Speech
・Azure Cognitive Services - Speech Service
・Google Cloud Speech API
・IBM Watson Speech to Text
・Amazon Transcribe

UnityEngine.Windows.Speech が一番簡単に音声認識を実装できるのですがWindowsでしか利用できないので今回はなしです。

Azure Cognitive Services - Speech Service で良さげなQiitaの記事があったのでこれを試してみるのが良いかと思います。（Androidで利用できます。）

Qiita | UnityでMicrosoft Cognitive Speech Servicesによる音声認識をAndroidスマホで実装する
https://qiita.com/tomato_sugar/items/ac4b5dbe8277496add56

途中でわからないことがあれば言ってください。アドバイスできると思います。

---

追記：Azure Cognitive Speech SDK 導入方法

自分のアカウントのAzure上で Cognitive Services を立てている前提です。
立て方は上記のQiita記事を参考にしてください。

1, Microsoftさん公式のUnityのサンプルプロジェクトをgit cloneする。
https://github.com/Azure-Samples/cognitive-services-speech-sdk/tree/master/quickstart/csharp/unity/from-microphone
※これをzipでDLして quickstart/csharp/unity/from-microphone でもよい。
https://github.com/Azure-Samples/cognitive-services-speech-sdk

2, Microsoft.CognitiveServices.Speech.xxx.unitypackage をDLしてインポートするhttps://aka.ms/csspeech/unitypackage

3, Assets/Scripts/HelloWorld.cs を下の内容に書き換える。
変更点は、キー等の情報をスクリプトに直接記入するようになっていたので[SerializeField]でEditor上から入力できるようにした。あと日本語対応。

//
// Copyright (c) Microsoft. All rights reserved.
// Licensed under the MIT license. See LICENSE.md file in the project root for full license information.
//
// <code>
using UnityEngine;
using UnityEngine.UI;
using Microsoft.CognitiveServices.Speech;
#if PLATFORM_ANDROID
using UnityEngine.Android;
#endif
#if PLATFORM_IOS
using UnityEngine.iOS;
using System.Collections;
#endif

public class HelloWorld : MonoBehaviour
{
    // Hook up the two properties below with a Text and Button object in your UI.
    public Text outputText;
    public Button startRecoButton;

    private object threadLocker = new object();
    private bool waitingForReco;
    private string message;

    private bool micPermissionGranted = false;

#if PLATFORM_ANDROID || PLATFORM_IOS
    // Required to manifest microphone permission, cf.
    // https://docs.unity3d.com/Manual/android-manifest.html
    private Microphone mic;
#endif

    [SerializeField] string subscriptionKey = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx";
    [SerializeField] string serviceRegion = "japaneast";

    public async void ButtonClick()
    {
        // Creates an instance of a speech config with specified subscription key and service region.
        // Replace with your own subscription key and service region (e.g., "westus").
        var config = SpeechConfig.FromSubscription(subscriptionKey, serviceRegion);
        var lang = SourceLanguageConfig.FromLanguage("ja-JP");

        // Make sure to dispose the recognizer after use!
        using (var recognizer = new SpeechRecognizer(config, lang))
        {
            lock (threadLocker)
            {
                waitingForReco = true;
            }

            // Starts speech recognition, and returns after a single utterance is recognized. The end of a
            // single utterance is determined by listening for silence at the end or until a maximum of 15
            // seconds of audio is processed.  The task returns the recognition text as result.
            // Note: Since RecognizeOnceAsync() returns only a single utterance, it is suitable only for single
            // shot recognition like command or query.
            // For long-running multi-utterance recognition, use StartContinuousRecognitionAsync() instead.
            var result = await recognizer.RecognizeOnceAsync().ConfigureAwait(false);

            // Checks result.
            string newMessage = string.Empty;
            if (result.Reason == ResultReason.RecognizedSpeech)
            {
                newMessage = result.Text;
            }
            else if (result.Reason == ResultReason.NoMatch)
            {
                newMessage = "NOMATCH: Speech could not be recognized.";
            }
            else if (result.Reason == ResultReason.Canceled)
            {
                var cancellation = CancellationDetails.FromResult(result);
                newMessage = $"CANCELED: Reason={cancellation.Reason} ErrorDetails={cancellation.ErrorDetails}";
            }

            lock (threadLocker)
            {
                message = newMessage;
                waitingForReco = false;
            }
        }
    }

    void Start()
    {
        if (outputText == null)
        {
            UnityEngine.Debug.LogError("outputText property is null! Assign a UI Text element to it.");
        }
        else if (startRecoButton == null)
        {
            message = "startRecoButton property is null! Assign a UI Button to it.";
            UnityEngine.Debug.LogError(message);
        }
        else
        {
            // Continue with normal initialization, Text and Button objects are present.
#if PLATFORM_ANDROID
            // Request to use the microphone, cf.
            // https://docs.unity3d.com/Manual/android-RequestingPermissions.html
            message = "Waiting for mic permission";
            if (!Permission.HasUserAuthorizedPermission(Permission.Microphone))
            {
                Permission.RequestUserPermission(Permission.Microphone);
            }
#elif PLATFORM_IOS
            if (!Application.HasUserAuthorization(UserAuthorization.Microphone))
            {
                Application.RequestUserAuthorization(UserAuthorization.Microphone);
            }
#else
            micPermissionGranted = true;
            message = "Click button to recognize speech";
#endif
            startRecoButton.onClick.AddListener(ButtonClick);
        }
    }

    void Update()
    {
#if PLATFORM_ANDROID
        if (!micPermissionGranted && Permission.HasUserAuthorizedPermission(Permission.Microphone))
        {
            micPermissionGranted = true;
            message = "Click button to recognize speech";
        }
#elif PLATFORM_IOS
        if (!micPermissionGranted && Application.HasUserAuthorization(UserAuthorization.Microphone))
        {
            micPermissionGranted = true;
            message = "Click button to recognize speech";
        }
#endif

        lock (threadLocker)
        {
            if (startRecoButton != null)
            {
                startRecoButton.interactable = !waitingForReco && micPermissionGranted;
            }
            if (outputText != null)
            {
                outputText.text = message;
            }
        }
    }
}
// </code>

4, 作成済みのリソースから キー1 を subscriptionKey に張り付ける。また 場所 が serviceRegion に相当するので japaneast でなければ書き換える。

5, Build Settings の Target Platform を Android に変更してビルド。実機で動作確認。（Windows でも iOS でもOKです。）

Comments

[fiveHundred]

大筋では大体合っていると思いますが、「跳べ」と「跳ぶ」のようなものとか、「飛べ」のような同音異義語、似た単語の誤認識、「蛙よ跳べ」のように別の単語が含まれている場合などを考慮する必要があるかもしれないので、swicth文だけで出来るような単純な問題ではないような気もします。
まあ、とりあえず単純なものから作ってみて、それを改善していけばよろしいかとは思いますが。

あと、AndroidやiOSのネイティブ機能にも、音声入力機能があったはずなので、そちらを使うのもありだと思います。
敷居は高いと思いますが、APIだと場合によっては有料になるので。

[u824]

>「跳べ」と「跳ぶ」のようなものとか、「飛べ」のような同音異義語、似た単語の誤認識、「蛙よ跳べ」のように別の単語が含まれている場合などを考慮する必要がある

その通りですね。なるべく単純な単語にするのがおすすめです。
頻出する誤認識ワードがあればそれも条件分岐に加えるのが良いかと思います。

>あと、AndroidやiOSのネイティブ機能にも、音声入力機能があったはずなので、そちらを使うのもありだと思います。

気になって調べてみたら良さげなの見つけました。
動作確認はしていませんが、利用できそうならこっちの方が良さそうですね。

BOOTH | FantomPlugin v1.18 (Unity × Android)
https://booth.pm/ja/items/1556439

[kitahachi]

ご丁寧にありがとうございます
ご教示頂いた各種APIやFantomPluginにつきましては、手当たり次第に試しましたがいずれも組み込めず、どうやら根本的な理解が欠如していることが分かりました。

なので一からしっかりと理解した上でご教授頂いた方法を再度試したいと思います。