強化学習の方策勾配法（REINFORCE）における、学習の進み具合の指標があれば教えて下さい。

Question

例えばTD法やQ学習では、TD誤差が減少していればある程度きちんと学習できていると判断して良いかと思います。
（単純に、減少しさえすれば良いというものでもないですが。）
また、一般的な教師あり学習であれば、LossやAccuracyを指標にできるかと思います。

ですが、方策勾配法ではそのようなものが色々な論文・ウェブサイトを見ても載っていなかったので、もしそういう指標があればご教授いただきたく思います。