PythonでVTubeStudioを制御したい

Question

実現したいこと

PythonでVTubeStudioの3Dモデルを、wavファイルの音声にあわせて動かしたい。

発生している問題・分からないこと

3Dモデルの口の開閉が上手くいかない。

ソースコードの、以下の処理が上手くいってないように見える。
・async def send_mouth_open(websocket, name, value):
・async def Openmouth(audio_data, chunk_size, threshold, stream, uri):

該当のソースコード

import asyncio  # 非同期処理をサポート
import json  # JSON形式のデータ操作
import os  # OSの機能、特にファイルパス操作
import re  # 正規表現
import random  # ランダムな選択
import websockets  # WebSocket通信
from pygame import mixer  # オーディオ再生
import sys
import pprint  # データの整形出力
import time  # 時間操作
import librosa
import numpy as np
import pyaudio
import wave

sys.path.append(os.path.join(os.path.dirname(__file__), '..'))
sys.path.append(os.path.join(os.path.dirname(__file__), '../api'))

from api.authentication import request_token, authenticate

async def get_hotkeys(websocket): #ホットキーを入手
    request = {
        "apiName": "VTubeStudioPublicAPI",
        "apiVersion": "1.0",
        "requestID": "UniqueRequestIDForHotkeys",
        "messageType": "HotkeysInCurrentModelRequest",
        "data": {}
    }
    await websocket.send(json.dumps(request))
    response = await websocket.recv()
    response_json = json.loads(response)
    if "data" in response_json and "availableHotkeys" in response_json["data"]:
        return response_json["data"]["availableHotkeys"]
    return []

async def trigger_random_hotkey(websocket, hotkeys): #ランダムホットキー作成
    if hotkeys:
        hotkey = random.choice(hotkeys)
        hotkey_id = hotkey.get("hotkeyID")
        if hotkey_id:
            request = {
                "apiName": "VTubeStudioPublicAPI",
                "apiVersion": "1.0",
                "requestID": "UniqueRequestIDForTriggering",
                "messageType": "HotkeyTriggerRequest",
                "data": {
                    "hotkeyID": hotkey_id
                }
            }
            await websocket.send(json.dumps(request))
            response = await websocket.recv()
            print(f"Triggered Hotkey Response: {response}")

async def play_audio_and_trigger_hotkeys(websocket, folder_path='audio/Word2Motion'): 
    await trigger_random_hotkey(websocket, await get_hotkeys(websocket))

async def send_mouth_open(websocket, name, value):
    message = {
        "type": "SetParameterValue",
        "data": {
            "name": name,
            "value": value
        }
    }
    print(f"Sending message: {message}")  # メッセージの内容を出力
    await websocket.send(json.dumps(message))

async def Openmouth(audio_data, chunk_size, threshold, stream, uri):  #音声と口を連動させる処理
    async with websockets.connect(uri) as websocket:
        # 音声データをチャンクに分割して処理
        for i in range(0, len(audio_data), chunk_size):
            chunk = audio_data[i:i + chunk_size]

            # 音量を計算
            audio_array = np.frombuffer(chunk, dtype=np.int16)
            rms = np.sqrt(np.mean(audio_array**2))

            # 口パクの判定
            if rms > threshold:
                await send_mouth_open(websocket, "ParamMouthOpen", 1.0)
            else:
                await send_mouth_open(websocket, "ParamMouthOpen", 0.0)  # 口を閉じる
            # 音声を再生
            stream.write(chunk)

async def main():
    uri = "ws://localhost:8001"
    async with websockets.connect(uri) as websocket:
        plugin_name = "My Cool Plugin"
        plugin_developer = "My Name"
        authentication_token = await request_token(websocket, plugin_name, plugin_developer)
        if authentication_token:
            print(f"Token: {authentication_token}")
            is_authenticated = await authenticate(websocket, plugin_name, plugin_developer, authentication_token)
            if is_authenticated:
                # 音声ファイルのパス

                wav_file = r"aaa\bbb\〇〇〇〇.wav"  # raw文字列を使用

                # パラメータ
                chunk_size = 1024  # 音声データを読み込むチャンクサイズ
                threshold = 0.01  # 口を開けるかどうかの閾値

                # wavファイルを読み込む
                wf = wave.open(wav_file, 'rb')
                sample_rate = wf.getframerate()
                audio_data = wf.readframes(-1)

                # pyaudioを初期化
                p = pyaudio.PyAudio()

                # ストリームを開く
                stream = p.open(format=pyaudio.paInt16,
                                channels=1,
                                rate=sample_rate,
                                output=True)

                await Openmouth(audio_data, chunk_size, threshold, stream, uri)

                # ストリームを閉じる
                stream.stop_stream()
                stream.close()

                # pyaudioを終了
                p.terminate()
                await play_audio_and_trigger_hotkeys(websocket)

asyncio.run(main())

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

恐らく、変更したいパラメータを上手く指定できていないと考えている

①処理結果
正常終了するが、3Dモデルの口は全く動かない。

②処理ログ
口の開閉に使用する'ParamMouthOpen'のステータスは変更できているように思う。
以下抜粋
＞Sending message: {'type': 'SetParameterValue', 'data': {'name': 'ParamMouthOpen', 'value': 1.0}}
＞Sending message: {'type': 'SetParameterValue', 'data': {'name': 'ParamMouthOpen', 'value': 0.0}}
＞Sending message: {'type': 'SetParameterValue', 'data': {'name': 'ParamMouthOpen', 'value': 0.0}}
＞Sending message: {'type': 'SetParameterValue', 'data': {'name': 'ParamMouthOpen', 'value': 1.0}}

③別処理の動作
以下の処理は正常で、ホットキーで3Dモデルの表情変化はできていた。
・await trigger_random_hotkey(websocket, await get_hotkeys(websocket))

④VTubeStudio上のパラメータ
VTubeStudio上でパラメータを確認※モデル設定タブ
口の開閉に関わりそうなパーツ名「Mouth Open」、IN「VoceVolumePlusMouthOpen」、OUT「ParanMouthOpen」
をそれぞれ"name"に指定・"value"の変更も試したが、口は動かなかった

補足

VTubeStudio上のリップシンク機能で、マイクの音声での口の開閉は成功している

Answer 1

「ParamMouthOpen」以外のパラメータ名「Mouth Open」を試します。