ラズパイとpythonを使い、juliusの音声認識の結果からopencvの目の検知を開始し、更に音声で目の検知を再開・一時停止したいです。

Question

前提

ここに質問の内容を詳しく書いてください。

juliusを使って音声認識を行い、'start'と音声認識をするとopencvを使いリアルタイムで目の検知を行い、'stop'と認識すると目の検知を一時停止し、再び'start'と認識すると一時停止を再開するプログラムを作っています。エラーは出ずに動き、'start'と喋るとframeが開き目の検知が始まるのですが、マイクが音を拾う瞬間だけカメラが動きます。最初は、カメラが重たいのかなと思いfpsを変更したのですが変わりません。

実現したいこと

音声認識で、'start'という言葉を認識すると目の検知を開始する。
音声認識で、'stop'という言葉を認識すると目の検知を一時停止する。
以降は、'start' 'stop'で再開・一時停止をできるようにしたい。
ここに実現したいことを箇条書きで書いてください。

• ▲▲機能を動作するようにする

発生している問題・エラーメッセージ

該当のソースコード

import cv2
import time
import socket
import xml.etree.ElementTree as ET

cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FPS, 10)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 320)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 240)
eye_cascade = cv2.CascadeClassifier('haarcascade_eye_tree_eyeglasses.xml')

detect_eyes = False
last_detection = time.time()

client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
client.connect(('localhost', 10500))

try:
    data = ''
    while True:
        if '</RECOGOUT>' in data:
            start_tag = data.find('<RECOGOUT>')
            end_tag = data.find('</RECOGOUT>')+len('</RECOGOUT>')
            data = data[start_tag:end_tag]
            root = ET.fromstring(data)
            for whypo in root.findall('./SHYPO/WHYPO'):
                command = whypo.get('WORD')
                score = float(whypo.get('CM'))
                print(command + ':' + str(score))

                if score >= 0.9:
                    if command == 'start':
                        detect_eyes = True
                        print('Start Eye detection')
                    elif command == 'stop':
                        detect_eyes = False
                        print('Stop Eye detection')

                print('\n')  # new line

            data = ''

        else:
            data += client.recv(1024).decode('utf-8')
        
        if detect_eyes:
            ret, rgb = cap.read()
            gray = cv2.cvtColor(rgb, cv2.COLOR_BGR2GRAY)
            eyes = eye_cascade.detectMultiScale(gray, scaleFactor=1.11, minNeighbors=3, minSize=(8, 8))
            current_time = time.time()
            if len(eyes)>0:
                last_detection = current_time
            elif current_time - last_detection > 1.5:
                cv2.putText(rgb,"Sleepy eyes! Wake up!",(10,100), cv2.FONT_HERSHEY_PLAIN, 3, (0,0,255), 2, cv2.LINE_AA)

            for ex, ey, ew, eh in eyes:
                cv2.rectangle(rgb, (ex, ey), (ex + ew, ey + eh), (255, 255, 0), 1)

            cv2.imshow('frame', rgb)
            if cv2.waitKey(1) == 27:
                break  

except KeyboardInterrupt:
        client.close()
        cap.release()
        cv2.destroyAllWindows()

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

こちらのサイトのコードを参考に、組み合わせて書いています。
音声認識
https://monomonotech.jp/kurage/raspberrypi/julius.html
画像処理
https://qiita.com/mogamin/items/a65e2eaa4b27aa0a1c23

Comments

[hoshi-takanori]

client.recv(1024) でブロッキングしてるのでは…。
https://qiita.com/homoluctus/items/59e2b91f28c32dc1e6c8
https://blog.amedama.jp/entry/2017/03/29/080000

[thkana]

質問のポイントではありませんが、TCP(stream)の通信単位は「バイト」なので、juiliusから貰ったデータが一回のrecvで一塊として受信できる保証はない、というのは考慮されていますか? 「大抵動くからヨシ」とするのですか?

[jbpb0]

> コードを修正したところ無事解決しました。

質問を「解決済」にしてください

Answer 1

hoshi-takanoriさん返信ありがとうございます。hoshi-takanoriさんのおっしゃる通りで、client.recv(1024)でブロッキングモードになっており、音声認識のデータが到着するまではプログラムがブロックされていました...コードを修正したところ無事解決しました。以下に修正したコードを記述します。

import errno
client.setblocking(False)
try:
    data = ''
    while True:
        try:
            recv_data = client.recv(1024)
        except socket.error as e:
            if e.errno != errno.EAGAIN and e.errno != errno.EWOULDBLOCK:
                raise
            continue

        data += recv_data.decode('utf-8')