Watson の speech to text を HTTP REST で呼び出す方法

Question

###前提・実現したいこと
【IBM Watson音声認識のAPI呼び出し】
IBM Watson の HTTP REST API で speech to text の recognize を呼び出したいです。
呼び出す部分の処理はC#で書いてます。
sessionの作成はできていて、Responseは正常に返ってきました。
（以下のURLにsession_idが入った状態で返ってきました。）
"recognize": "https://stream.watsonplatform.net/speech-to-text/api/v1/sessions/<session_id>"
を使用してAPI呼び出しをしています。

Watson の Speech to text を REST API で呼び出すときに必要なヘッダやパラメータ、音声データの渡し方等ご指摘いただきたいです。

###発生している問題・エラーメッセージ

リモートサーバーがエラーを返しました：(401) 許可されていません

###該当のソースコード

String url = "https://stream.watsonplatform.net/speech-to-text/api/v1/sessions/<session_id>";

Dictionary<string, object> param = new Dictionary<string, object>();

// byte[] data  
param.Add("data", new FileParameter(data, "","audio/ogg;codec=opus"));

HttpWebRequest wr = (HttpWebRequest)WebRequest.Create(url);
CreateRequestHeaders(wr, m_username, m_passwrd, "POST", null);
wr.Proxy = GetWebProxy();
wr.ContentLength = size;

using (Stream rs = wr.GetRequestStream())
{
    rs.Write(data, 0, size);
    rs.Close();
}

HttpWebResponse wres;
try
{
    wres = wr.GetResponse() as HttpWebResponse;
}
catch (WebException webEx)
{
    Loggers.Output.Error(webEx.ToString());
}

###試したこと
リクエストに必要なヘッダやパラメータに過不足があるのではないかと思い、色々と試しましたが、状況は変わりませんでした。

Answer 1

Watsonさわったことなくて興味があったので回答しようと試したのですが、...
オチから言うと
「WebSocketでやってもうた...Sessionの方を質問していたのか...」です。

Sessionでのやり方は試していないので回答にはなりませんが、
WebSocketはドキュメント通りやれば素直にできたので参考程度に書いておくと....

C#のClientWebSocketクラスを使ってます。
Basic認証でtoken取得(本家ドキュメントのここらへん)をして、
socketをConnectionを開く→
openのメッセージを投げる（"action": "start","content-type": *****, "continuous": true, "interim_results": trueあたり。***は投げるデータのタイプを...）→
あとは音声を投げれば（本家ドキュメントのここあたり）簡単にテキストが取得できました。

（WebSocketクラスでもできるとは思いますが、私の興味のままに..使ったことのないClientWebSocketでやってます....）

参考程度にコードを。。。（雑実装な点は触れずに頂けると...）
マイク使って音とるほど興味はなかったので、音声データ（wavファイル）のパスを指定して音声を送信→Consoleにテキストを表示するものです。

Consoleのアプリ作って以下のクラスをnewして、wavファイルのパスを指定してSendAudioFileAsyncメソッドを呼べば、コンソールにテキストが表示されます。

using Newtonsoft.Json;
using System;
using System.IO;
using System.Net.Http;
using System.Net.WebSockets;
using System.Text;
using System.Threading;
using System.Threading.Tasks;

namespace WatsonDemo
{
    public class SpeechToText
    {
        #region variables

        private const string Password = "*****passwordを入力****";
        private const string UserName = "******usernameを入力******";

        private const string JajpModelString = "ja-JP_BroadbandModel";
        private const string SpeechToTextEndpoint = @"wss://stream.watsonplatform.net/speech-to-text/api/v1/recognize?watson-token={0}&model={1}";

        private static readonly Uri AuthEndpointUri = new Uri(@"https://stream.watsonplatform.net/authorization/api/v1/token?url=https://stream.watsonplatform.net/speech-to-text/api");

        private static readonly ArraySegment<byte> OpenMessage = new ArraySegment<byte>(Encoding.UTF8.GetBytes("{\"action\": \"start\", \"content-type\": \"audio/wav\", \"continuous\" : true, \"interim_results\": true}"));
        private static readonly ArraySegment<byte> CloseMessage = new ArraySegment<byte>(Encoding.UTF8.GetBytes("{\"action\": \"stop\"}"));

        #endregion

        //classをnewしてこのメソッド呼べば動きます。
        //今回は、音声データ（wav）のファイルパスを指定する想定で書いてます。
        public async Task SendAudioFileAsync(string filePath)
        {
            var token = await GetAuthTokenAsync(UserName, Password);
            var uri = GetUri(token, JajpModelString);

            var socket = new ClientWebSocket();
            // socket open
            await socket.ConnectAsync(uri, CancellationToken.None);
            // open message send
            await Task.WhenAll(socket.SendAsync(OpenMessage, WebSocketMessageType.Text, true, CancellationToken.None), HandleCallback(socket));
            // send audio
            await Task.WhenAll(SendAudioToWatson(socket, filePath), HandleCallback(socket));

            await socket.CloseAsync(WebSocketCloseStatus.NormalClosure, "Close", CancellationToken.None);

        }

        private static async Task SendAudioToWatson(ClientWebSocket client, string filePath)
        {
            using (var fileStream = File.OpenRead(filePath))
            {
                var bytes = new byte[1024];
                while (fileStream.Read(bytes, 0, bytes.Length) > 0)
                {
                    await client.SendAsync(new ArraySegment<byte>(bytes), WebSocketMessageType.Binary, true, CancellationToken.None);
                }
                await client.SendAsync(CloseMessage, WebSocketMessageType.Text, true, CancellationToken.None);
            }
        }


        private static async Task HandleCallback(ClientWebSocket socket)
        {
            var buffer = new byte[1024];
            while (true)
            {
                var segment = new ArraySegment<byte>(buffer);
                var result = await socket.ReceiveAsync(segment, CancellationToken.None);

                if (result.MessageType == WebSocketMessageType.Close) return;

                var count = result.Count;
                while (!result.EndOfMessage)
                {
                    if (count >= buffer.Length)
                    {
                        await socket.CloseAsync(WebSocketCloseStatus.InvalidPayloadData, "count >= buffer.Length!!!!!", CancellationToken.None);
                        return;
                    }

                    segment = new ArraySegment<byte>(buffer, count, buffer.Length - count);
                    result = await socket.ReceiveAsync(segment, CancellationToken.None);
                    count += result.Count;
                }

                var message = Encoding.UTF8.GetString(buffer, 0, count);
                // logging
                Console.WriteLine(message);

                if (IsDelimeter(message)) return;
            }


        }

        private static bool IsDelimeter(string json) => JsonConvert.DeserializeObject<dynamic>(json).state == "listening";

        private static async Task<string> GetAuthTokenAsync(string user, string pass)
        {
            var credential = Encoding.UTF8.GetBytes($"{user}:{pass}");
            using (var client = new HttpClient())
            {
                client.DefaultRequestHeaders.Authorization = new System.Net.Http.Headers.AuthenticationHeaderValue("Basic", Convert.ToBase64String(credential));
                var response = await client.GetAsync(AuthEndpointUri);

                return await response.Content.ReadAsStringAsync();
            }
        }

        private static Uri GetUri(string token, string model) => new Uri(string.Format(SpeechToTextEndpoint, token, model));
    }
}

Comments

[rhas]

websocket では send でバイナリデータを送信するのですね・・・！
REST ではリクエストボディに音声データを含めればいいかと思ってるのですが、いまだうまくいかず。。
もう少し検討してみます。
ご回答ありがとうございました！

[BEACHSIDE]

音声データを扱う場合、大きなデータまたはリアルタイムに一定時間データを送信し続けることが想定されるため、socketを使うのが現時点ではベターという世の中の流れです。そのため、音声系のサービスはwssを提供してることが多く、素直にそれを使うのがプラクティスとしてベターだと思います。
また、C#的な話をさせていただくと、有名な流れではありますがWebRequestは機能的にDeadなので...HttpClient使って非同期処理を行った方がよいかと思います。（...と余計な情報ばかり提供してしまっていますね....すいません）