前提実現したいこと
ML-Agentsで強化学習を行う際に、アタッチされているコンポーネントの異なる複数のモデル(BehaviorParametersコンポーネントのBehaviorNameも異なる)を同じPPOファイルを用いて一度に学習させたい。
発生している問題・エラーメッセージ
anacondaのコマンドプロンプトにて、下記のようにWARNINGと表示された後、使用したいPPOファイルの内容と異なったものが表示され、その内容で学習が進んでしまっています。
使用したいPPOファイルの名前がNormal.yaml
学習させたいモデルのBefaviorNameはShopとNormalです。
2020-12-22 03:26:40 WARNING [trainer_factory.py:64] Behavior name Shop does not match any behaviors specifiedin the trainer configuration file: ['Normal']
2020-12-22 03:26:40 INFO [stats.py:126] Hyperparameters for behavior name Shop:
trainer_type: ppo
hyperparameters:
batch_size: 1024
buffer_size: 10240
learning_rate: 0.0003
beta: 0.005
epsilon: 0.2
lambd: 0.95
num_epoch: 3
learning_rate_schedule: linear
network_settings:
normalize: False
hidden_units: 128
num_layers: 2
vis_encode_type: simple
memory: None
reward_signals:
extrinsic:
gamma: 0.99
strength: 1.0
init_path: None
keep_checkpoints: 5
checkpoint_interval: 500000
max_steps: 500000
time_horizon: 64
summary_freq: 50000
threaded: True
self_play: None
behavioral_cloning: None
framework: tensorflow
補足事項
同じPPOファイルでなく別々のファイルを用いての学習は行うことができるのか、そもそもML-Agetnsで複数のモデルを学習させることが想定されているのかすらわからない状態です。
こちらが指定するPPOファイルを用いての複数モデルの同時学習が可能か不可能かだけでもお教えいただけないでしょうか。
よろしくお願いします。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。