音声認識APIを使いたい

Question

音声認識のAPIを使用したいと思っています。

環境はiosやAndroidではなくpythonによるサーバーが処理する想定をしております。そのためiosやAndroid用のSDKを使用することができません。
一方、google speech API等使ってみましたが、HTTP通信を行うものは遅すぎる気がしていて、使いにくいと考えております。(通信に使用したものはwav形式で中身は3~4秒ほど、レート44100を指定しました。)
そのためあらかじめダウンロードしておけるものが理想です。

そこで質問です。

1. プラットフォームに依存しない音声認識SDKのようなものがあるのか。
2. もしサーバー通信しかないのであれば、どうにかして速度を早めることが可能なのか(形式やレートの変更など)

よろしくお願いします。