強化学習のReplayBufferのサイズを大きくしたい

Question

やりたいこと

強化学習において、ReplayBufferに10万～100万の経験を溜めたいのですが、GPUメモリの容量的に、1万しかためられません。

メモリを増やすことはできない中で、なんとかBufferを大きくすることはできないでしょうか。
このことに関して、どういう手法があるのかもよくわかっていない状態です。

想像では、経験データを圧縮してから溜める、などが考えられるのですが、それが可能なのかもよく分からないです。

環境

pytorch
Open AI gym Atari

Answer 1

ReplayBufferにpytorch Tensorの状態で格納していたことが、GPUメモリ不足の原因でした。
ndarrayの状態にしてから格納すれば、十分なBufferサイズを取ることができました。