リアルタイム音声認識の完成度をあげたい！

Question

話した内容がテキスト化される音声認識をGoogleAPIを用いて実装中
一応話した内容が表示されるようになったのだが・・・

・音声ファイルをGoogleサーバに送る
・認識結果を受け取る
・認識結果を表示する

この間に話した内容はstreamをcloseにしているので録音されていない
(streamをcloseにしている理由は、openのまま音声認識を行うとinputOverFlowと表示され、エラーが発生するため)

【課題】
Googleサーバで音声認識をしている間に話している内容を録音したい
（音声の録音と音声認識は並列処理？で行える？？）

##### coding:utf8
import base64
from googleapiclient import discovery
import httplib2
 
import pyaudio  #録音機能を使うためのライブラリ
import wave     #wavファイルを扱うためのライブラリ
import time
import math
import audioop
 
#APIキーを設定
key = "APIキー"
 
DISCOVERY_URL = ('https://{api}.googleapis.com/$discovery/rest?'
                 'version={apiVersion}')

#音声を保存するファイル名
WAVE_OUTPUT_FILENAME = "sample10.wav"

RATE = 44100
CHUNK = 1024
CHANNELS = 1
FORMAT = pyaudio.paInt16
DECIBEL_THRESHOLD=50
frames=[]
frame_counter = 0
start_Rec = False

def get_speech_service():
    http = httplib2.Http()
    return discovery.build(
        'speech', 'v1', http=http, discoveryServiceUrl=DISCOVERY_URL, developerKey=key)
 
def SpeechAPI():
    #音声ファイルを開く
    waveFile = wave.open(WAVE_OUTPUT_FILENAME, 'wb')
    waveFile.setnchannels(CHANNELS)
    waveFile.setsampwidth(p.get_sample_size(FORMAT))
    waveFile.setframerate(RATE)
    waveFile.writeframes(b''.join(frames))
    waveFile.close()
    with open(WAVE_OUTPUT_FILENAME, 'rb') as speech:
        speech_content = base64.b64encode(speech.read()) 
 
    #APIの情報を取得して、音声認識を行う
    service = get_speech_service()
    service_request = service.speech().recognize(
        body={
            'config': {
                'encoding': 'LINEAR16',
                'sampleRateHertz': 44100,
                'languageCode': 'ja-JP', #日本語に設定
                'enableWordTimeOffsets': 'false',
            },
            'audio': {
                'content': speech_content.decode('UTF-8')
                }
            })
 
    #SpeechAPIによる認識結果を保存
    response = service_request.execute()
 
    #見やすいようにコンソール画面で出力
    for i in response["results"]:
        print(i["alternatives"][0]["transcript"],"confidence:" , i["alternatives"][0]["confidence"])

if __name__=='__main__':
    p = pyaudio.PyAudio()
 
    stream = p.open(format=FORMAT,
            channels=CHANNELS,
            rate=RATE, 
            input=True,
            frames_per_buffer=CHUNK)
    while True:
        data=stream.read(CHUNK)#ストリームを開く
        rms=audioop.rms(data,2)
        decibel=20*math.log10(rms)
        if decibel >= DECIBEL_THRESHOLD:#音圧レベルが50dB以上なら録音開始
            start_Rec=True
            frame_counter=0
        if start_Rec==True and decibel<DECIBEL_THRESHOLD:
            frame_counter+=1
            if frame_counter>=20:#録音開始後、20チャンク分の無音が続いた場合は録音終了
                frame_counter=0
                start_Rec=False
                stream.stop_stream()
                stream.close()#ストリーム閉じる
                p.terminate()
                SpeechAPI()#音声認識
                stream = p.open(format=FORMAT,#ストリーム再開
                                channels=CHANNELS,
                                rate=RATE, 
                                input=True,
                                frames_per_buffer=CHUNK)
                frames=[]
        if start_Rec==True:
            frames.append(data)

元々の文章
赤ちゃんの鳴き声を翻訳するアプリが自閉症の早期発見を加速する。
赤ちゃんの鳴き声をアルゴリズムによって解析し、(※ここは認識中に読み上げて録音されなかった)
人工知能　AI によって泣いている理由を教えてくれる無料アプリが公開された

赤ちゃんの鳴き声を翻訳するアプリが自閉症の早期発見を加速する confidence: 0.9511766
人工知能 AI によって泣いている理由を教えてくれる無料アプリが公開された confidence: 0.93573725