Keras-rlとKerasのバージョンの組み合わせについて

Question

前提・実現したいこと

サンプルコード引用元を参考にしたのですが、
Keras,Keras-rl,tensorflowのバージョンの組み合わせがおかしいのが原因でエラーが出ています。

kerasとkeras-rlバージョン組み合わせについて
こちらを参考に
Keras==2.1.0,
Keras=rl==0.4.0
としていますがtensorflowに関して記述がなかったため
tensorflow==2.0.0としていますがこれがよくないようです。

発生している問題・エラーメッセージ

tensorflow2.0.0の場合
AttributeError: module 'tensorflow' has no attribute 'get_default_graph'

tensorflow1.19.0の場合
UnicodeDecodeError: 'rawunicodeescape' codec can't decode bytes in position 171-172: truncated \UXXXXXXXX escape

該当のソースコード

import gym

# GymのPendulum環境を作成
env = gym.make("Pendulum-v0")

# 取りうる”打ち手”のアクション数と値の定義
nb_actions = 2
ACT_ID_TO_VALUE = {0: [-1], 1: [+1]}

from rl.core import Processor


class PendulumProcessor(Processor):

    # Duel-DQNの出力と、Gym環境の入力の違いを吸収
    def process_action(self, action):
        return ACT_ID_TO_VALUE[action]

    # Gym環境の報酬の出力と、Duel-DQNの報酬の入力との違いを吸収
    def process_reward(self, reward):
        if reward > -0.2:
            return 1
        elif reward > -1.0:
            return 0
        else:
            return 0

processor = PendulumProcessor()

from keras.models import Sequential
from keras.layers import Dense, Activation, Flatten


model = Sequential()
model.add(Flatten(input_shape=(1,) + env.observation_space.shape))
model.add(Dense(16))
model.add(Activation("relu"))
model.add(Dense(16))
model.add(Activation("relu"))
model.add(Dense(nb_actions, activation="linear"))

from keras.optimizers import Adam

from rl.agents.dqn import DQNAgent
from rl.policy import BoltzmannQPolicy
from rl.memory import SequentialMemory


# Duel-DQNアルゴリズム関連の幾つかの設定
memory = SequentialMemory(limit=50000, window_length=1)
policy = BoltzmannQPolicy()

# Duel-DQNのAgentクラスオブジェクトの準備 （上記processorやmodelを元に）
dqn = DQNAgent(model=model, nb_actions=nb_actions, memory=memory, nb_steps_warmup=10,
               enable_dueling_network=True, dueling_type="avg", target_model_update=1e-2, policy=policy,
               processor=processor)
dqn.compile(Adam(lr=1e-3), metrics=["mae"])
print(dqn.model.summary())

# 定義課題環境に対して、アルゴリズムの学習を実行 （必要に応じて適切なCallbackも定義、設定可能）
# 上記Processorクラスの適切な設定によって、Agent-環境間の入出力を通して設計課題に対しての学習が進行
dqn.fit(env, nb_steps=100000, visualize=False, verbose=2)

# 学習後のモデルの重みの出力
dqn.save_weights("duel_dqn_{}_weights.h5f".format("Pendulum-v0"), overwrite=True)

# 学習済モデルに対して、テストを実行 （必要に応じて適切なCallbackも定義、設定可能）
dqn.test(env, nb_episodes=100, visualize=True)

試したこと

tensorflow 1.9.0,1.8.0に変更しましたが、decodeエラー？が発生しダメでした。

補足情報（FW/ツールのバージョンなど）

Keras 2.1.0
Keras-rl 0.4.0
tensorflow 2.0.0
pycharm

Answer 1

keras,keras-環境構築
こちらを参考にして
keras== 2.2.4
kerasrl== 0.4.2
tensorflow-gpu 1.14.0
としたところ動作確認が取れました
cuda9.0

Comments

[kimtakuya_]

tensorflow-gpu==1.14.0です