tensorflow，Deep Q Networkに関するエラー

Question

読み込むExcelデータを変えただけでInconsistent dtypes or shapes between inputs and input_tensor_specというエラーが出る

2020年にも別の掲示板で似たような質問をしている人がいましたがtf-agentsAtariのアップデートを待てとのことでした．．．
内部で生成するQネットワークにエラーがある？
一部名前を修正しているのでミスがあったらすみません．

ライブラリのバージョン

 tensorflow 2.9.1
 tf-agents 0.13.0

プログラム(一部抜粋)

#EnvironmentSimulatorの一部
class EnvironmentSimulator(py_environment.PyEnvironment):
  def __init__(self,GET_DATA,mix_alpha):
    self.GET_DATA=GET_DATA
    self.mix_alpha=mix_alpha
    
    
    self._observation_spec = array_spec.BoundedArraySpec(
        shape=(self.GET_DATA,6), dtype=np.float32
    )
    self._action_spec = array_spec.BoundedArraySpec(
        shape=(), dtype=np.int32, minimum=0, maximum=2

    )
    self._reset()
  def observation_spec(self):
    return self._observation_spec
  def action_spec(self):
    return self._action_spec

  def _reset(self):
    self._state= np.zeros((self.GET_DATA,6), dtype=np.float32)
    self._TABLE_INX=500
    return ts.restart(np.array(self._state, dtype=np.float32))

 def _step(self, action):
      df_mix=self.df_mix[self._TABLE_INX:self._TABLE_INX+self.GET_DATA]
      self._state=tf.constant(df_mix)

      self._TABLE_INX=self._TABLE_INX+1


      reward = 0
      if action==0:

                                     (step処理省略)

    return ts.transition(np.array(self._state,dtype=np.float32), reward=reward)

上記のステップ関数内でget_data行×6列のデータ取得しself._stateに更新しています．

ネットワーク構成

#ネットワーク構築
class MyQNetwork(network.Network):
    def __init__(self, observation_spec, action_spec, n_hidden_channels=100,name='QNetwork'):
        super(MyQNetwork, self).__init__(
        input_tensor_spec=observation_spec,
        state_spec=(),
        name=name
        )
        n_action = action_spec.maximum - action_spec.minimum + 1
        set_dropout=0.2
        self.model = keras.Sequential(
          [
            keras.layers.InputLayer(input_shape=(100,6)),
            keras.layers.LSTM(units=n_hidden_channels,dropout=set_dropout,return_sequences=True),
(略

メイン関数の一部

#メイン関数の一部
    GET_DATA=100
    mix_data=pd.read_excel('mix_data.xlsx',index_col=0)

    env_py = EnvironmentSimulator(GET_DATA,mix_data)
    env = tf_py_environment.TFPyEnvironment(env_py)
    primary_network = MyQNetwork(env.observation_spec(), env.action_spec())
#エージェントの設定
    n_step_update = 1
    agent = dqn_agent.DqnAgent(
    env.time_step_spec(),
    env.action_spec(),
    q_network=primary_network,
    optimizer=keras.optimizers.Adam(learning_rate=1e-3, epsilon=1e-5),
    n_step_update=n_step_update,
    epsilon_greedy=1.0,
    target_update_tau=1.0,
    target_update_period=10,
    gamma=0.9,
    td_errors_loss_fn = common.element_wise_squared_loss,
    train_step_counter = tf.Variable(0)
  )
    agent.initialize()
    agent.train = common.function(agent.train)

    policy = agent.collect_policy

    replay_buffer = tf_uniform_replay_buffer.TFUniformReplayBuffer(
        data_spec=agent.collect_data_spec,
        batch_size=env.batch_size,
        max_length=10**6
        )
    dataset = replay_buffer.as_dataset(
        num_parallel_calls=tf.data.experimental.AUTOTUNE,
        sample_batch_size=32,
        num_steps=n_step_update+1
        ).prefetch(tf.data.experimental.AUTOTUNE)
    iterator = iter(dataset)

    env.reset()
    driver = dynamic_step_driver.DynamicStepDriver(
        env,
        policy,
        observers=[replay_buffer.add_batch],
        num_steps = 500,
        )
    driver.run(maximum_iterations=1000)

    num_episodes = 200
    epsilon = np.linspace(start=1.0, stop=0.0, num=num_episodes+1)
    tf_policy_saver = policy_saver.PolicySaver(policy=agent.policy)
   

    for episode in range(num_episodes+1):
(以下略

これを実行すると以下のエラーがでました

エラー内容

    driver.run(maximum_iterations=1000)
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\drivers\dynamic_step_driver.py", line 182, in run
    return self._run_fn(
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\utils\common.py", line 188, in with_check_resource_vars
    return fn(*fn_args, **fn_kwargs)
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\drivers\dynamic_step_driver.py", line 202, in _run
    tf.while_loop(
  File "D:\Programs Files\Python\Python39\lib\site-packages\tensorflow\python\util\deprecation.py", line 629, in new_func
    return func(*args, **kwargs)
  File "D:\Programs Files\Python\Python39\lib\site-packages\tensorflow\python\ops\control_flow_ops.py", line 2507, in while_loop_v2
    return while_loop(
  File "D:\Programs Files\Python\Python39\lib\site-packages\tensorflow\python\ops\control_flow_ops.py", line 2754, in while_loop
    loop_vars = body(*loop_vars)
  File "D:\Programs Files\Python\Python39\lib\site-packages\tensorflow\python\ops\control_flow_ops.py", line 2745, in <lambda>
    body = lambda i, lv: (i + 1, orig_body(*lv))
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\drivers\dynamic_step_driver.py", line 135, in loop_body
    action_step = self.policy.action(time_step, policy_state)
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\policies\tf_policy.py", line 324, in action
    step = action_fn(time_step=time_step, policy_state=policy_state, seed=seed)
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\utils\common.py", line 188, in with_check_resource_vars
    return fn(*fn_args, **fn_kwargs)
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\policies\epsilon_greedy_policy.py", line 115, in _action
    greedy_action = self._greedy_policy.action(time_step, policy_state)
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\policies\tf_policy.py", line 324, in action
    step = action_fn(time_step=time_step, policy_state=policy_state, seed=seed)
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\utils\common.py", line 188, in with_check_resource_vars
    return fn(*fn_args, **fn_kwargs)
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\policies\tf_policy.py", line 560, in _action
    distribution_step = self._distribution(time_step, policy_state)  # pytype: disable=wrong-arg-types
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\policies\greedy_policy.py", line 80, in _distribution
    distribution_step = self._wrapped_policy.distribution(
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\policies\tf_policy.py", line 403, in distribution
    step = self._distribution(time_step=time_step, policy_state=policy_state)
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\policies\q_policy.py", line 156, in _distribution
    q_values, policy_state = self._q_network(
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\networks\network.py", line 391, in __call__
    nest_utils.assert_matching_dtypes_and_inner_shapes(
  File "D:\Programs Files\Python\Python39\lib\site-packages\tf_agents\utils\nest_utils.py", line 407, in assert_matching_dtypes_and_inner_shapes
    raise ValueError('{}: Inconsistent dtypes or shapes between {} and {}.\n'
ValueError: <__main__.MyQNetwork object at 0x000001833D352550>: Inconsistent dtypes or shapes between `inputs` and `input_tensor_spec`.
dtypes:
<dtype: 'float32'>
vs.
<dtype: 'float32'>.
shapes:
(1, 99, 6)
vs.
(100, 6).

(100, 6)のデータを取り込んでも勝手に内部で(1,99,6)の形に変換されてる？？？？

ちなみにネットワークや_observation_specの部分を(1, 99, 6)になるように変えても次は
(None,1, 99, 6)
vs.
(1, 99, 6)
と出てきます．
データの内容が違いますが同じデータ数のファイルを使ってもこのエラーが出ないものがあります．
エラーがでないときはきちんと学習できていましたが最近作成するExcelファイルにはすべてこのエラーを突き返されます．
excelは1000～ 10000行×6列のデータです．csvで保存して読み込んでも同じエラーが出ました．
またExcel内の小数点における処理によってエラーが発生しているかと思って，全部整数になるように数値変換してint型で読み込んでも同じエラーがでました．
エラーが出るものと出ないファイルのdataflameの型やサイズを調べても同じでした

具体的な解決策がわかりません．どうかよろしくお願いします．

Answer 1

最初にdriveで設定したnum_step数だけstepの動作が行われるがその際

df_mix=self.df_mix[self._TABLE_INX:self._TABLE_INX+self.GET_DATA]
self._state=tf.constant(df_mix)
self._TABLE_INX=self._TABLE_INX+1

も同じ数だけ動作する．そこの認識が間違っていたため実際より多く動作してしまいデータの行数より_TABLE_INXが多くなり._stateの更新がうまくいかずエラーが起きた．