chainerrlをmacで実行するとエラーが出てしまう。

Question

前提・実現したいこと

chainerrlで強化学習をしようと思い、macで実行すると、以下のエラーが出てしまいました。分かる方よろしくお願いします。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "57_train_reinforce_gym.py", line 130, in <module>
    max_episode_len=timestep_limit)
TypeError: train_agent_with_evaluation() got an unexpected keyword argument 'eval_n_runs'

該当のソースコード

# Coding: utf-8
# Chainer-RL 強化学習サンプル
from __future__ import division
from __future__ import print_function
from __future__ import unicode_literals
from __future__ import absolute_import
from builtins import * # NOQA
from future import standard_library
standard_library.install_aliases() # NOQA
import argparse
import os

import chainer
import gym
import gym.spaces
import gym.wrappers
import numpy as np

import chainerrl
from chainerrl import experiments
from chainerrl import misc
import logging

parser = argparse.ArgumentParser()
parser.add_argument('--env', type=str, default='CartPole-v0')
parser.add_argument('--seed', type=int, default=0,
					help='Random seed [0, 2 ** 32)')
parser.add_argument('--gpu', type=int, default=-1)
parser.add_argument('--outdir', type=str, default='results',
					help='Directory path to save output files.'
						 ' If it does not exist, it will be created.')
parser.add_argument('--beta', type=float, default=1e-4)
parser.add_argument('--batchsize', type=int, default=10)
parser.add_argument('--steps', type=int, default=10 ** 5)
parser.add_argument('--eval-interval', type=int, default=10 ** 4)
parser.add_argument('--eval-n-runs', type=int, default=100)
parser.add_argument('--reward-scale-factor', type=float, default=1e-2)
parser.add_argument('--render', action='store_true', default=True)
parser.add_argument('--lr', type=float, default=1e-3)
parser.add_argument('--demo', action='store_true', default=False)
parser.add_argument('--load', type=str, default='')
parser.add_argument('--logger-level', type=int, default=logging.INFO)
parser.add_argument('--monitor', action='store_true')
args = parser.parse_args()

# 乱数シードを設定
misc.set_random_seed(args.seed, gpus=(args.gpu,))
logging.basicConfig(level=args.logger_level)

args.outdir = experiments.prepare_output_dir(args, args.outdir)

def make_env(test):
	env = gym.make(args.env)
	# 訓練とテストで異なる乱数シードを使用する
	env_seed = 2 ** 32 - 1 - args.seed if test else args.seed
	env.seed(env_seed)
	# 環境obsをFloat32にキャスト
	env = chainerrl.wrappers.CastObservationToFloat32(env)
	if args.monitor:
		env = gym.wrappers.Monitor(env, args.outdir)
	if not test:
		# 学習の効率化のため報酬をスケール
		env = chainerrl.wrappers.ScaleReward(env, args.reward_scale_factor)
	if args.render and not test:
		misc.env_modifiers.make_rendered(env)
	return env

train_env = make_env(test=False)
timestep_limit = train_env.spec.tags.get(
	'wrapper_config.TimeLimit.max_episode_steps')
obs_space = train_env.observation_space
action_space = train_env.action_space

# ゲームの種類にあわせて方策(ポリシー)を変更
if isinstance(action_space, gym.spaces.Box):
	model = chainerrl.policies.FCGaussianPolicyWithFixedCovariance(
		obs_space.low.size,
		action_space.low.size,
		var=0.1,
		n_hidden_channels=200,
		n_hidden_layers=2,
		nonlinearity=chainer.functions.leaky_relu,
	)
else:
	model = chainerrl.policies.FCSoftmaxPolicy(
		obs_space.low.size,
		action_space.n,
		n_hidden_channels=200,
		n_hidden_layers=2,
		nonlinearity=chainer.functions.leaky_relu,
	)

# GPUを使う場合
if args.gpu >= 0:
	chainer.cuda.get_device(args.gpu).use()
	model.to_gpu(args.gpu)

# オプティマイザーの設定
opt = chainer.optimizers.Adam(alpha=args.lr)
opt.setup(model)
opt.add_hook(chainer.optimizer.GradientClipping(1))

# エージェントの設定
agent = chainerrl.agents.REINFORCE(
	model, opt, beta=args.beta, batchsize=args.batchsize)
if args.load:
	agent.load(args.load)

#環境のセットアップ
eval_env = make_env(test=True)

if args.demo: #デモモード
	eval_stats = experiments.eval_performance(
		env=eval_env,
		agent=agent,
		n_runs=args.eval_n_runs,
		max_episode_len=timestep_limit)
	print('n_runs: {} mean: {} median: {} stdev {}'.format(
		args.eval_n_runs, eval_stats['mean'], eval_stats['median'],
		eval_stats['stdev']))
else: #学習開始
	experiments.train_agent_with_evaluation(
		agent=agent,
		env=train_env,
		eval_env=eval_env,
		outdir=args.outdir,
		steps=args.steps,
		eval_n_runs=args.eval_n_runs,
		eval_interval=args.eval_interval,
		max_episode_len=timestep_limit)

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

これはPython2のコードでgymのバージョンも昔のものなので、Python3のコードに直したいです。これを踏まえてどうすればいいか教えて下さい。

Answer 1

Mac以外では動作したのでしょうか？
train_agent_with_evaluation関数に、eval_n_runs引数は無いようですが・・・。

chainerrl.experiments

Comments

[nary002]

返信がおくれましてすみません。eval_n_runs引数があるgymのバージョンを教えていただきたいです。

[hasami]

ちなみに、max_episode_lenもありません。
train_max_episode_lenとeval_max_episode_lenはあります。

この関数を使用するのであれば、プログラムの仕様と実装を関数に合わせた方が現実的だと思います。