Unity ML-Agentsにおいて、複数の学習モデルを切り替える方法

Question

実現したいこと

ML-Agentsの一つのエージェントに対して、異なる学習モデルを特定条件で切り替えて適用させたい。

前提

ML-Agentsを使い、プレイヤーのサポートを行うエージェントの作成をしています。

エージェントの動きとして、
・プレイヤーに追従する
・敵に近づく
といった異なる学習モデルをそれぞれ作成した場合、これらを特定条件で切り替える方法がありましたら教えて頂きたいです。

試したこと

全く同じ見た目のエージェントを2つ作成し、それぞれに別の学習モデルを適用、条件でエージェントごと入れ替える方法を試しました。
入れ替える際に2つのエージェントが重なる瞬間が生まれたり、動きが不自然になったりしました。

Answer 1

モデルはAgent.SetModelで切り替えられそうでした。
試しにロケットをイメージして作ったエージェントに下記スクリプトをアタッチし...

using Unity.Barracuda;
using Unity.MLAgents;
using UnityEngine;

[RequireComponent(typeof(Agent))]
public class ModelSwitcher : MonoBehaviour
{
    [SerializeField] private NNModel[] models;
    private Agent agent;
    private int modelIndex;

    private void Start()
    {
        if (this.models.Length == 0)
        {
            this.enabled = false;
            return;
        }

        this.agent = this.GetComponent<Agent>();
        this.SetModel(this.modelIndex);
    }

    private void OnGUI()
    {
        if (GUILayout.Button("Switch Model"))
        {
            this.modelIndex = (this.modelIndex + 1) % this.models.Length;
            this.SetModel(this.modelIndex);
        }

        GUILayout.Label(this.models[this.modelIndex].name);
    }

    private void SetModel(int index)
    {
        var model = this.models[this.modelIndex];

        // ビヘイビア名はとりあえずモデルと同名に設定しました
        // ですが、訓練を終えてゲームを実行中の段階であれば
        // どのように設定してもいいんじゃないかと思います
        this.agent.SetModel(model.name, model);
    }
}

赤玉を狙って飛ぶよう訓練したモデルと、青玉を狙って飛ぶよう訓練したモデルを切り替えさせてみました。フィールドの後方から出発して動かないターゲットへ飛ぶという単純なシチュエーションで訓練してしまったため、飛んでいる途中でモデルを切り替えると状況に対応できず混乱している様子で見苦しいですが、ともかく挙動を切り替えることはできたようでした。

Comments

[tako9105]

返信が遅れ、申し訳ありません。
ご説明いただいた手法で解決致しました。
こちらで作成していたエージェントの移動が2次元であるためか、切り替え時の不自然さもさほど気になりませんでした。
プログラム例に加えてUnity上での挙動まで添付していただき、誠にありがとうございました。