C# Cloud Speech-to-Text 変換結果(1Ch)の遅延

Question

前提・実現したいこと

• C#
• Cloud Speech-to-Text
• NAudio(音声録音)　
• コンソールアプリ

2Ch(L/R)のステレオ音声を、リアルタイムで
コンソール画面にテキスト表示するプログラムを作成しています。

2Ch側は問題ないのですが、
1Ch側は、結果が数秒遅れて返ってくるため
リアルタイム表示できていません。

1Chの結果が遅れる理由がわからず、
困り果てています。
どなたかご存知でしょうか。

参考にしたサイト
http://kmycode.hatenablog.jp/entry/2017/04/11/220108

該当のソースコード

static void Main(string[] args)
{
    var aaaa = File.ReadAllText("XXXXXXX.json");

    // 証明書を作成
    var credential = GoogleCredential.FromJson(File.ReadAllText("XXXXXXX.json"));
	credential = credential.CreateScoped("https://www.googleapis.com/auth/cloud-platform");

	// サーバに接続するためのチャンネルを作成
	var channel = new Channel("speech.googleapis.com:443", credential.ToChannelCredentials());

	// Google Speech APIを利用するためのクライアントを作成
	var client = new Speech.SpeechClient(channel);

    // ストリーミングの設定
    var streamingConfig = new StreamingRecognitionConfig
    {
        
        Config = new RecognitionConfig
        {
            SampleRateHertz = 16000,
            Encoding = RecognitionConfig.Types.AudioEncoding.Linear16,
            LanguageCode = "ja-JP",

            //複数CH
            EnableSeparateRecognitionPerChannel = true,
            AudioChannelCount = 2,            
        },
		InterimResults = true,
		SingleUtterance = false,
      
    };

    // 2秒を25回回すようにしてみる。
    Console.WriteLine("-----------\nstart.\n");
    for (int r = 1; r <= 25; r++)
    {
        // ストリーミングを開始
        using (var call = client.StreamingRecognize())
        {
            

            // Cloud Speech APIからレスポンスが返ってきた時の挙動を設定
            var responseReaderTask = Task.Run(async () =>
            {
            // MoveNext１回につきレスポンス１回分のデータがくる
            while (await call.ResponseStream.MoveNext())
                {
                    var note = call.ResponseStream.Current;

                // データがあれば、認識結果を出力する
                if (note.Results != null && note.Results.Count > 0 &&
                        note.Results[0].Alternatives.Count > 0)
                    {
                    //Ch1を表示する
                    if (note.Results[0].ChannelTag != 2)
                        {
                            Console.WriteLine("User: " + note.Results[0].ChannelTag);
                            Console.WriteLine("result: " + note.Results[0].Alternatives[0].Transcript);
                        }
                    }
                }
            });

            // 最初の呼び出しを行う。最初は設定データだけを送る
            var initialRequest = new StreamingRecognizeRequest
            {
                StreamingConfig = streamingConfig,
            };
            call.RequestStream.WriteAsync(initialRequest).Wait();

            // 録音モデルの作成
            IAudioRecorder recorder = new RecordModel();

            // 録音モデルが音声データを吐いたら、それをすかさずサーバに送信する
            recorder.RecordDataAvailabled += (sender, e) =>
            {
                if (e.Length > 0)
                {
                // WriteAsyncは一度に一回しか実行できないので非同期処理の時は特に注意
                // ここではlockをかけて処理が重ならないようにしている
                lock (recorder)
                    {
                        call.RequestStream.WriteAsync(new StreamingRecognizeRequest
                        {
                            AudioContent = RecognitionAudio.FromBytes(e.Buffer, 0, e.Length).Content,
                        }).Wait();
                    }
                }
            };

            // 録音の開始
            recorder.Start();

            // Cloud Speech APIのストリーミングは1回60秒までなので、50秒まできたら打ち切る
            var timer = new Timer(1000 * 5);    //  50⇒5に変更(1Chの処理が2Chより遅いため
            timer.Start();

            // 50秒経過した時、実際に打ち切るコード
            timer.Elapsed += async (sender, e) =>
            {
                recorder.Stop();
                await call.RequestStream.CompleteAsync();
            };

            // 待機
            responseReaderTask.Wait();

            // ここに到達した時点で、APIの呼び出しが終了したということなので、タイマーを切る
            timer.Dispose();
        }
    }
    // ここまで回す
	Console.WriteLine("\n-----------\nCompleted (Time out)");
	Console.ReadKey();
}

試したこと

・50秒で打ち切りを5秒に変更
若干 結果表示が早くなったが、
2Chと比較すると、数秒遅い。

Answer 1

RecordModelはどうなっているのでしょうか？
参考URLのソースですと

this.waveIn.WaveFormat = new WaveFormat(16000, 16, 1);

とモノラルのようですが、こちらもステレオに変更されているのでしょうか？
また、単に録音してみて両チャンネルともに音声が入っているか確認されましたでしょうか？

もし、上記を確認された後でしたら、この回答はなかったことにしてください。

というか、ステレオ指定でモノラルデータ送ったら、そもそも正常な応答が返ってこない気がします。
ですので、この回答は頓珍漢な回答の可能性が大きいですね

Comments

[sigoto]

ご教示ありがとうございます。

下記のように[2]に変更して、
変換結果が(それなりの精度で)返ってくるのですが、、、

```C#
this.waveIn.WaveFormat = new WaveFormat(16000, 16, 2);
```
Cloud Speech API側で、
Ch2の変換が終わってから、
Ch1の変換を行う、、、とかあるんでしょうか・・・

[YAmaGNZ]

リアルタイムで入力する環境がないので、2チャンネルのWAVファイル（1CHで”あいうえお”、2CHで”てすとです”と同時に喋ったもの）を作成
して実験してみましたが、動作的には片方の解析が終わった後、もう片方のチャンネルの解析を行っているような動作をしました。

[YAmaGNZ]

ただ、ファイルの送信の場合、リアルタイム送信とは違い、ある程度の時間のデータを短時間で流せるので、1CHと2CHの解析時間の差はあまり出ません。
また、音声を繰り返したものを用意し送信したところ、2CHがある程度解析されたところで1CHの応答も来るという動作を行いましたので一概に片方の解析終了後というわけでもなさそうです。
結局のところ、よくわかりませんでした。

[sigoto]

YAmaGNZさま
いろいろ調べていただいて、ありがとうございます。

今回は、Cloud Speech-to-Textのストリーミング変換の
テストができればいいということで、
厳密にリアルタイムじゃなくてもOKとなりました。
ギモンは残りますが、解決済みとさせていただきます。

ご回答、本当にありがとうございました。