常連

強化学習で解くための環境を自作してそれをDQNのフレームワーク（keras-rl)を用いてrewardの変化を見て行っているのですが、それについて質問です。
エピソードごとのrewardをグラフにするとだいたいいつも以下の様になります。

![イメージ説明](ab3cc707b3673df0331ce23c0c3d4a10.png)
![イメージ説明](e5a9ca3a6f91f283a56cfc4c7f3d9f62.png)

毎回序盤で一気に下がってその後上がるといった形になります。ここで下がっているポイントはkeras-rlでいう、nb_steps_warmupで指定した最初の学習には使われない部分のステップが終わるとそこでまず下がります。まずこれは何故でしょうか？nb_steps_warmupで指定したタイムステップ分は学習で使われない部分だという認識でしたがこれはどういう事でしょうか？

また一枚めの画像で実際にプロットしている点は以下になります。
[-22.0, -279.0, -58.0, -68.0, -14.0, -8.0, -33.0, -12.0, -39.0, -20.0, -32.0, -28.0, -52.0, -43.0, -18.0, -32.0, -12.0, -17.0, -12.0, -37.0, -16.0, -26.0, -27.0, -7.0, -16.0, -14.0, -48.0, -43.0, -14.0, -28.0]

この時のエージェントでテストすると、以下の様になります。
Episode 1: reward: -6.000, steps: 50
Episode 2: reward: -6.000, steps: 50
Episode 3: reward: -6.000, steps: 50
Episode 4: reward: -7.000, steps: 50
Episode 5: reward: -6.000, steps: 50
Episode 6: reward: -7.000, steps: 50
Episode 7: reward: -7.000, steps: 50
Episode 8: reward: -6.000, steps: 50
Episode 9: reward: -6.000, steps: 50
Episode 10: reward: -6.000, steps: 50
ここで表示されるrewardもそのエピソードのステップ毎に得られたrewardの合計のエピソードrewardですよね？だとしたら、何故テストではこの様に全体としてトレーニング時より高い値となっているのでしょうか？
因みに1500ステップ行った結果ですが、学習を途中で止めてテストするとそこでのrewardは最後まで学習させた時より落ちるので、学習はしっかり進んでいるのではないかと思うのですがどうでしょうか？

強化学習（深層強化学習）のrewardの変化についてです。（keras-rl使用）

pythonで以下のコードをpytorchに置き換えたいのですが、pytorchで書くとどうなるのでしょうか？

```python
model = tf.keras.Sequential([
        tf.keras.layers.Dense(300, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation=tf.nn.relu, input_dim=df_columns_len),
        tf.keras.layers.Dropout(0.2),
        tf.keras.layers.Dense(100, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation=tf.nn.relu),
        tf.keras.layers.Dropout(0.2),
        tf.keras.layers.Dense(1, activation=tf.nn.sigmoid) 
    ])
```

Keras→Pytorch　Dense()をpytorchで書く場合

私のPCにGPUが４ギガ入っていまして、GPUを用いたコードの実行を行いたいと考えています。
WEBで調べながらいろいろしてみたのですが、以下のインポートエラーが起きます。対処法としてはどのようにすればいいでしょうか。
kerasやtensorflowのインストールはしています。よろしくお願いします。
#エラー
```ここに言語を入力
<module>
    from keras.backend import tensorflow_backend

ImportError: cannot import name 'tensorflow_backend' from 'keras.backend' (C:\anaconda\lib\site-packages\keras\backend.py)
```

#コード
```ここに言語を入力
import tensorflow as tf
from keras import backend as K
from keras.backend import tensorflow_backend


config = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True))
session = tf.Session(config=config)
tensorflow_backend.set_session(session)
```

GPUの使い方、エラー

### 質問内容
初心者です。
「Keras-RLで簡単に強化学習(DQN)を試す」
https://qiita.com/inoory/items/e63ade6f21766c7c2393
上記のサンプルプログラム実行すると以下のエラーメッセージが出ます。
解決するためにはどうしたら良いでしょうか。
別エラー回避のためkeras-rlではなく、keras-rl2を使っています。

### 発生している問題・エラーメッセージ

```
NotImplementedError                       Traceback (most recent call last)
<ipython-input-4-026eaf4407ac> in <module>
----> 1 history = dqn.fit(env, nb_steps=50000, visualize=False, verbose=2, nb_max_episode_steps=300)
      2 #学習の様子を描画したいときは、Envに_render()を実装して、visualize=True にします,

~\anaconda3\lib\site-packages\rl\core.py in fit(self, env, nb_steps, action_repetition, callbacks, verbose, visualize, nb_max_start_steps, start_step_policy, log_interval, nb_max_episode_steps)
    129                     # Obtain the initial observation by resetting the environment.
    130                     self.reset_states()
--> 131                     observation = deepcopy(env.reset())
    132                     if self.processor is not None:
    133                         observation = self.processor.process_observation(observation)

~\anaconda3\lib\site-packages\gym\core.py in reset(self)
     69             observation (object): the initial observation.
     70         """
---> 71         raise NotImplementedError
     72 
     73     def render(self, mode='human'):

NotImplementedError: 
```

### 該当のソースコード

```Python
history = dqn.fit(env, nb_steps=50000, visualize=False, verbose=2, nb_max_episode_steps=300)
```
上記実行時にエラーとなります。

### 補足情報（FW/ツールのバージョンなど）

Python 3.8.8
tensorflow 2.5.0
Keras 2.4.3
keras-rl2 1.0.5
jupyter Notebook

keras-rl DQNのNotImplementedError

keras-rlを用いて自作した環境の深層強化学習（DQN）を行なっています。エピソード毎のrewardの変化をプロットしていったのですが、環境の設定によっては以下の様に後半大きく下がってしまったりします。

![イメージ説明](50655f3b0e2ba1e4fc7c757dd3d51d38.png)
![イメージ説明](f03548f65fd2dc5b8aa565c8e5c7c449.png)

この様な事はなぜ起こるのでしょうか？Q関数は報酬が多くなる様に更新されていくはずですよね？結果が悪くなっていくのは何故でしょうか？

強化学習のrewardについてです。

openAI gymのgym.core.Envを継承して自分で環境を作っています。それをkeras-rlを用いて強化学習の実装をしようと思っています。
環境のクラスを仮にHoge(gym.core.Env)としてそれがうまく動くかインスタンス化だけしました。すると以下の様な警告が出ました。


/usr/local/lib/python3.6/site-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.
  from ._conv import register_converters as _register_converters
Using TensorFlow backend.
WARN: gym.spaces.Box autodetected dtype as <class 'numpy.float32'>. Please provide explicit dtype.


これはどういう事でしょうか？observation_spaceの型が問題なのでしょうか？ちなみにHogeのイニシャライザの中でobservation_spaceに関しては以下の様に書きました。

```Python
self.action_space = gym.spaces.Discrete(6) 
self._shape = (20, 124)
self.observation_space = gym.spaces.Box(low=0,
                                        high=1,
                                        shape=self._shape)
```

openAI gymの自作環境についてです。

下記のようなプログラムの場合、それぞれの層でのベクトルのshapeがどんな構造になっているのかわかりません。
元々の入力は、(60000, 28, 28,1)です（グレースケール）

```Python
# 基本モデル作成
model = Sequential()

# Conv2Dレイヤーの追加
model.add(
    Conv2D(
        filters=32,
        kernel_size=(3, 3),
    )
)


# 2*2のmaxプーリング層追加
model.add(
    MaxPooling2D(
        pool_size=(2, 2)
    )
)

# ドロップアウト層の追加
model.add(
    Dropout(0.2)
)

# フラット層の追加
model.add(
    Flatten()
)

# 全結合層の追加
model.add(
    Dense(
        128, 
        activation='relu')
)

# ドロップアウト層の追加
model.add(
    Dropout(0.3)
)

# 出力層
model.add(
    Dense(
        10, 
        activation='softmax'
    )
)
```

```Python
> model.summary()
Model: "sequential_6"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_4 (Conv2D)            (None, 26, 26, 32)        320       
_________________________________________________________________
max_pooling2d_4 (MaxPooling2 (None, 13, 13, 32)        0         
_________________________________________________________________
dropout_7 (Dropout)          (None, 13, 13, 32)        0         
_________________________________________________________________
flatten_4 (Flatten)          (None, 5408)              0         
_________________________________________________________________
dense_7 (Dense)              (None, 128)               692352    
_________________________________________________________________
dropout_8 (Dropout)          (None, 128)               0         
_________________________________________________________________
dense_8 (Dense)              (None, 10)                1290      
=================================================================
Total params: 693,962
Trainable params: 693,962
Non-trainable params: 0
_________________________________________________________________

```
・入力ベクトルの、(60000, 28, 28,1)の1はグレースケールで、RGBなら3になるという認識でよろしいですか？
・そもそも入力ベクトルは、(60000, 28, 28,1)なのに、なぜ、(None, 26, 26, 32)のように深さが32層にも増えているのでしょうか？[　ここ　](https://kenyu-life.com/2019/03/07/convolutional_neural_network/)を見ると、畳み込み層では縦×横の長さを減らす層で、深さ(32の部分)が増えるという認識がありませんでした。

そもそもの畳み込み層に関する認識が間違っている場合、ご指摘お願いいたします。

kerasの画像認識(Conv2D)に関する質問

### 前提・実現したいこと

強化学習を試したく、keras-rlをインストールして公式の下記exampleを実行しました。
https://github.com/keras-rl/keras-rl/blob/master/examples/ddpg_pendulum.py

しかしエラーが出てきて困っています。
アドバイスの程よろしくお願いいたします。
環境はWin10 / JupyterLab
以下の表示が出た後に問題のエラーが出ます。

==================================================================================================
Total params: 2,305
Trainable params: 2,305
Non-trainable params: 0
__________________________________________________________________________________________________
None

---------------------------------------------------------------------------


### 発生している問題・エラーメッセージ

```
---------------------------------------------------------------------------

TypeError                                 Traceback (most recent call last)

<ipython-input-3-49ce8198fa31> in <module>()
     55 agent = DDPGAgent(nb_actions=nb_actions, actor=actor, critic=critic, critic_action_input=action_input,
     56                   memory=memory, nb_steps_warmup_critic=100, nb_steps_warmup_actor=100,
---> 57                   random_process=random_process, gamma=.99, target_model_update=1e-3)
     58 agent.compile(Adam(lr=.001, clipnorm=1.), metrics=['mae'])
     59 

1 frames

/usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/keras_tensor.py in __len__(self)
    238 
    239   def __len__(self):
--> 240     raise TypeError('Keras symbolic inputs/outputs do not '
    241                     'implement `__len__`. You may be '
    242                     'trying to pass Keras symbolic inputs/outputs '

TypeError: Keras symbolic inputs/outputs do not implement `__len__`. You may be trying to pass Keras symbolic inputs/outputs to a TF API that does not register dispatching, preventing Keras from automatically converting the API call to a lambda layer in the Functional Model. This error will also get raised if you try asserting a symbolic input/output directly.


```
### 該当のソースコード

python

```
import numpy as np
import gym

from keras.models import Sequential, Model
from keras.layers import Dense, Activation, Flatten, Input, Concatenate
from keras.optimizers import Adam

from rl.agents import DDPGAgent
from rl.memory import SequentialMemory
from rl.random import OrnsteinUhlenbeckProcess


ENV_NAME = 'Pendulum-v0'


# Get the environment and extract the number of actions.
env = gym.make(ENV_NAME)
np.random.seed(123)
env.seed(123)
assert len(env.action_space.shape) == 1
nb_actions = env.action_space.shape[0]

# Next, we build a very simple model.
actor = Sequential()
actor.add(Flatten(input_shape=(1,) + env.observation_space.shape))
actor.add(Dense(16))
actor.add(Activation('relu'))
actor.add(Dense(16))
actor.add(Activation('relu'))
actor.add(Dense(16))
actor.add(Activation('relu'))
actor.add(Dense(nb_actions))
actor.add(Activation('linear'))
print(actor.summary())

action_input = Input(shape=(nb_actions,), name='action_input')
observation_input = Input(shape=(1,) + env.observation_space.shape, name='observation_input')
flattened_observation = Flatten()(observation_input)
x = Concatenate()([action_input, flattened_observation])
x = Dense(32)(x)
x = Activation('relu')(x)
x = Dense(32)(x)
x = Activation('relu')(x)
x = Dense(32)(x)
x = Activation('relu')(x)
x = Dense(1)(x)
x = Activation('linear')(x)
critic = Model(inputs=[action_input, observation_input], outputs=x)
print(critic.summary())

# Finally, we configure and compile our agent. You can use every built-in Keras optimizer and
# even the metrics!
memory = SequentialMemory(limit=100000, window_length=1)
random_process = OrnsteinUhlenbeckProcess(size=nb_actions, theta=.15, mu=0., sigma=.3)
agent = DDPGAgent(nb_actions=nb_actions, actor=actor, critic=critic, critic_action_input=action_input,
                  memory=memory, nb_steps_warmup_critic=100, nb_steps_warmup_actor=100,
                  random_process=random_process, gamma=.99, target_model_update=1e-3)
agent.compile(Adam(lr=.001, clipnorm=1.), metrics=['mae'])

# Okay, now it's time to learn something! We visualize the training here for show, but this
# slows down training quite a lot. You can always safely abort the training prematurely using
# Ctrl + C.
agent.fit(env, nb_steps=50000, visualize=True, verbose=1, nb_max_episode_steps=200)

# After training is done, we save the final weights.
agent.save_weights('ddpg_{}_weights.h5f'.format(ENV_NAME), overwrite=True)

# Finally, evaluate our algorithm for 5 episodes.
agent.test(env, nb_episodes=5, visualize=True, nb_max_episode_steps=200)
```

### 試したこと

Google Colaboratoryでも同様のエラーが出ました。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。