強化学習の学習済みデータの保存に関する質問です

Question

前提・実現したいこと

強化学習の学習済みデータの保存に関する質問です
https://www.tensorflow.org/agents/tutorials/5_replay_buffers_tutorial
上記のサイトを参考に強化学習を行う際のtensorflowの使用方法を勉強しているのですが、ページ下部のトレーニング中のリプレイバッファの使用のデータ収集の項目で
replay_observer = [replay_buffer.add_batch]
としているのですが、このデータを別ファイルなどに保存して、再度学習する際に利用するといったことを行いたいです。
どのようにコードを書けば良いでしょうか。

該当のソースコード

env = suite_gym.load('CartPole-v0')
tf_env = tf_py_environment.TFPyEnvironment(env)

q_net = q_network.QNetwork(
    tf_env.time_step_spec().observation,
    tf_env.action_spec(),
    fc_layer_params=(100,))

agent = dqn_agent.DqnAgent(
    tf_env.time_step_spec(),
    tf_env.action_spec(),
    q_network=q_net,
    optimizer=tf.compat.v1.train.AdamOptimizer(0.001))

replay_buffer_capacity = 1000

replay_buffer = tf_uniform_replay_buffer.TFUniformReplayBuffer(
    agent.collect_data_spec,
    batch_size=tf_env.batch_size,
    max_length=replay_buffer_capacity)

# Add an observer that adds to the replay buffer:
replay_observer = [replay_buffer.add_batch]

collect_steps_per_iteration = 10
collect_op = dynamic_step_driver.DynamicStepDriver(
  tf_env,
  agent.collect_policy,
  observers=replay_observer,
  num_steps=collect_steps_per_iteration).run()

Answer 1

一番簡単な手法は、Pickleを使用して、
変数を丸々保存する方法です。

Pickle使用方法

• pickle書き出し

import pickle
with open('dump.pk', 'wb') as f:
  pickle.dump(replay_observer , f)

• pickle読み込み

import pickle
with open('dump.pk', 'rb') as f:
  replay_observer = pickle.load(f)