ml-agentsでrewardをmonitorしたい

Question

前提・実現したいこと

unityでml-agentを使って強化学習の練習をしています．
こちらにあるようにmonitorクラスを使って報酬を表示したいのですが，
valueとして指定する変数がわかりません．

ご助言よろしくお願いします．

発生している問題・エラーメッセージ

例えばexamplesの3D Ballのコードでmonitor.logのvalueにrewardと入れると以下のコンパイルエラーが発生します．

Assets\ML-Agents\Examples\3DBall\Scripts\Ball3DAgent.cs(56,31): error CS0122: 'Agent.reward' is inaccessible due to its protection level

該当のソースコード

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using MLAgents;

public class Ball3DAgent : Agent
{
    [Header("Specific to Ball3D")]
    public GameObject ball;
    private Rigidbody ballRb;

    public override void InitializeAgent()
    {
        ballRb = ball.GetComponent<Rigidbody>();
    }

    public override void CollectObservations()
    {
        AddVectorObs(gameObject.transform.rotation.z);
        AddVectorObs(gameObject.transform.rotation.x);
        AddVectorObs(ball.transform.position - gameObject.transform.position);
        AddVectorObs(ballRb.velocity);
    }

    public override void AgentAction(float[] vectorAction, string textAction)
    {
        
        if (brain.brainParameters.vectorActionSpaceType == SpaceType.continuous)
        {
            var actionZ = 2f * Mathf.Clamp(vectorAction[0], -1f, 1f);
            var actionX = 2f * Mathf.Clamp(vectorAction[1], -1f, 1f);

            if ((gameObject.transform.rotation.z < 0.25f && actionZ > 0f) ||
                (gameObject.transform.rotation.z > -0.25f && actionZ < 0f))
            {
                gameObject.transform.Rotate(new Vector3(0, 0, 1), actionZ);
            }

            if ((gameObject.transform.rotation.x < 0.25f && actionX > 0f) ||
                (gameObject.transform.rotation.x > -0.25f && actionX < 0f))
            {
                gameObject.transform.Rotate(new Vector3(1, 0, 0), actionX);
            }
        }
        if ((ball.transform.position.y - gameObject.transform.position.y) < -2f ||
            Mathf.Abs(ball.transform.position.x - gameObject.transform.position.x) > 3f ||
            Mathf.Abs(ball.transform.position.z - gameObject.transform.position.z) > 3f)
        {
            Done();
            SetReward(-1f);
        }
        else
        {
            SetReward(0.1f);
        }
        Monitor.Log("reward", reward, transform);
    }

    public override void AgentReset()
    {
        gameObject.transform.rotation = new Quaternion(0f, 0f, 0f, 0f);
        gameObject.transform.Rotate(new Vector3(1, 0, 0), Random.Range(-10f, 10f));
        gameObject.transform.Rotate(new Vector3(0, 0, 1), Random.Range(-10f, 10f));
        ballRb.velocity = new Vector3(0f, 0f, 0f);
        ball.transform.position = new Vector3(Random.Range(-1.5f, 1.5f), 4f, Random.Range(-1.5f, 1.5f))
                                      + gameObject.transform.position;

    }

}

試したこと

monitor.logのvalueにvectorActionなどと入れると正常に描画されるので，報酬を保持する変数が違うのだと思っています．

補足情報（FW/ツールのバージョンなど）

Unity 2019.1.8f1
ml-agents 0.8.1

Answer 1

昔はrewardがpublicだったみたいですが、0.8.1ではprivateのようですね。
Monitor.Log("reward", GetReward(), transform);ならどうでしょうか?

Comments

[yan_tomo]

ありがとうございます．
無事，rewardを表示することができました．