pythonで音声認識&合成

Question

python をつかって、Juliusで音声認識→pykakasiでローマ字変換→音声合成ICが発話というシステムです。
エラーがないのにうまく行きませんでした。

import socket
import time
import pykakasi
import RPi.GPIO as GPIO
import smbus

HOST = '172.26.102.216' # juliusサーバーのIPアドレス
PORT = 10500 # juliusサーバーの待ち受けポート
DATESIZE = 1024 # 受信データバイト数

kks = pykakasi.kakasi()

GPIO.setmode(GPIO.BCM)
bus = smbus.SMBus(1)

class Julius:

def ATP3011_send_cmd5(cmd):
    cmd0 = ord(cmd[0])
    cmd1 = []
    for c in cmd[1:]:
        cmd1.append(ord(c))
    bus.write_i2c_block_data(0x2f,cmd0,cmd1)

def ATP3011_send_cmd6(cmd):
    cmd0 = ord(cmd[0])
    cmd1 = []
    for c in cmd[1:]:
        cmd1.append(ord(c))
    bus.write_i2c_block_data(0x2e,cmd0,cmd1)

def __init__(self):

    self.sock = None

def run(self):

    # socket通信でjuliusサーバーに接続
    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as self.sock:
        self.sock.connect((HOST, PORT))

        strTemp = "" # 話した言葉を格納する変数
        fin_flag = False # 話終わりフラグ

        while True:
            
            def Romaji():
                print("話した言葉：" + strTemp)
                text = strTemp
                result = kks.convert(text)
                for item in result:
                    romaji = "{}".format(item['hepburn'].capitalize())
                    print(romaji)
                return romaji
            
            def ATP3011_send_cmd5(cmd):
                cmd0 = ord(cmd[0])
                cmd1 = []
                for c in cmd[1:]:
                    cmd1.append(ord(c))
                    bus.write_i2c_block_data(0x2f,cmd0,cmd1)
                    
            def ATP3011_send_cmd6(cmd):
                cmd0 = ord(cmd[0])
                cmd1 = []
                for c in cmd[1:]:
                    cmd1.append(ord(c))
                    bus.write_i2c_block_data(0x2e,cmd0,cmd1)

            # juliusサーバからデータ受信
            data = self.sock.recv(DATESIZE).decode('utf-8')

            for line in data.split('\n'):
                # 受信データから、<WORD>の後に書かれている言葉を抽出して変数に格納する。
                # <WORD>の後に、話した言葉が記載されている。
                index = line.find('WORD="')
                if index != -1:
                    # strTempに話した言葉を格納
                    strTemp = strTemp + line[index+6:line.find('"',index+6)]
                    
                # 受信データに</RECOGOUT>'があれば、話終わり ⇒ フラグをTrue
                if '</RECOGOUT>' in line:
                    fin_flag = True

            # 話した言葉毎に、print文を実行
            if fin_flag == True:
                if '女性' in strTemp:
                    print("mode:女性")
                    cmd = "konnnichiwa\r"                 
                    ATP3011_send_cmd5(cmd)
                
                if '男性' in strTemp:
                    print("mode:男性")
                    cmd = "konnnichiwa\r"
                    ATP3011_send_cmd6(cmd)
                
                else:
                    cmd =  Romaji() +"\r"
                    ATP3011_send_cmd5(cmd)  #ICniローマ字をwatasu
                
                fin_flag = False
                strTemp = ""
                    

if name == "main":

julius = Julius()
julius.run()

追記:
一旦このプログラムは無かったことにし、1から作り直している最中です。

Comments

[shiracamus]

classの使い方が無理矢理すぎます。
まずは、全部単純な関数にすることをお勧めします。

[退会済みユーザー]

アドバイスありがとうございます。
Julius,pykakasi,音声合成ICはそれぞれ単体で動かすプログラムはあるのですが、それを合体した結果こうなってしまいました。
もっと単純になるよう考え直してみたいと思います。

Answer 1

女性の処理だけ抜き出して実行してみたところ、以下のように関数を呼び出そうとしています。
意図した引数になっていますか？

def ATP3011_send_cmd5(cmd):
    cmd0 = ord(cmd[0])
    cmd1 = []
    for c in cmd[1:]:
        cmd1.append(ord(c))
        print(f'bus.write_i2c_block_data(0x2f,{cmd0},{cmd1})')

print("mode:女性")
cmd = "konnnichiwa\r"
ATP3011_send_cmd5(cmd)

実行結果

mode:女性
bus.write_i2c_block_data(0x2f,107,[111])
bus.write_i2c_block_data(0x2f,107,[111, 110])
bus.write_i2c_block_data(0x2f,107,[111, 110, 110])
bus.write_i2c_block_data(0x2f,107,[111, 110, 110, 110])
bus.write_i2c_block_data(0x2f,107,[111, 110, 110, 110, 105])
bus.write_i2c_block_data(0x2f,107,[111, 110, 110, 110, 105, 99])
bus.write_i2c_block_data(0x2f,107,[111, 110, 110, 110, 105, 99, 104])
bus.write_i2c_block_data(0x2f,107,[111, 110, 110, 110, 105, 99, 104, 105])
bus.write_i2c_block_data(0x2f,107,[111, 110, 110, 110, 105, 99, 104, 105, 119])
bus.write_i2c_block_data(0x2f,107,[111, 110, 110, 110, 105, 99, 104, 105, 119, 97])
bus.write_i2c_block_data(0x2f,107,[111, 110, 110, 110, 105, 99, 104, 105, 119, 97, 13])

Comments

[退会済みユーザー]

試していただきありがとうございます。

そちらのパートは、"konnnichiwa"をUnicodeに変換し、ATP3011_send_cmdの関数に渡して1文字分ずつicに送っているものと自分では理解しております。そのため、意図した関数が送られてると思うのですが…。
自信がないため何か変なところがあればご指摘いただきたいです。

[shiracamus]

先頭文字だけ単独引数で、2文字目以降を1文字ずつ増やしたリストにして引数にしていますが、正しいですか？
bus.write_i2c_block_data(0x2f,107,[111, 110])
や
bus.write_i2c_block_data(0x2f,107,[111, 110, 110, 110, 105, 99, 104, 105, 119, 97, 13])
を実行して、発声されますか？

[退会済みユーザー]

import RPi.GPIO as GPIO
import smbus

GPIO.setmode(GPIO.BCM)
bus = smbus.SMBus(1)

bus.write_i2c_block_data(0x2e,107,[111,110,110,110,105,99,104,105,119,97,13])

上記を実行しましたが、「こんにちは」と発声しました。
また、先頭をリストに入れてしまうと発声しないため単独にしています。

[shiracamus]

回答欄に書いたように "konnnichiwa\r" だけで 11回も bus.write_i2c_block_data を呼び出していますが、正しいですか？

[退会済みユーザー]

理解が遅くすみません。正しくないです。
for文ではICに入れる配列を作るだけで、bus.write〜dataを呼び出すのは一度だけです。
for文から抜き出してちゃんと書いたところ、女性のICが発話しました。ありがとうございます。