keras-rlで損失関数のグラフを作成したい

こんにちは．
keras-rlを用いて強化学習を試しています．
横軸がエピソード，縦軸が損失関数（loss）となるようなグラフを作りたいと考え，方法を探し回ったのですが見つかりませんでした．
そこで学習時に出力されている下記のようなログから直接値を保存したいと考え，https://github.com/keras-rl/keras-rl/tree/master/rlにて出力されている場所を探してみました．rewardやactionはcallbacks.pyから出力されているようなのですが，lossやmean_absolute_errorを出力している箇所が見つからず困っています．
ご存じの方がいらっしゃいましたら，よろしくお願いします．

Training for 3000 steps ...
 1000/3000: episode: 1, duration: 4.900s, episode steps: 1000, steps per second: 204, episode reward: -468.007, mean reward: -0.468 [-1.823, 0.997], mean action: 7.751 [0.000, 19.000], mean observation: 3.333 [0.000, 42.000], loss: 0.177185, mean_absolute_error: 0.927159, mean_q: 0.524335
 2000/3000: episode: 2, duration: 4.700s, episode steps: 1000, steps per second: 213, episode reward: -752.884, mean reward: -0.753 [-1.681, 1.000], mean action: 9.644 [0.000, 19.000], mean observation: 3.333 [0.000, 81.000], loss: 0.200400, mean_absolute_error: 3.371325, mean_q: -0.552676
 3000/3000: episode: 3, duration: 4.736s, episode steps: 1000, steps per second: 211, episode reward: -241.094, mean reward: -0.241 [-1.865, 0.998], mean action: 3.542 [0.000, 19.000], mean observation: 3.333 [0.000, 48.000], loss: 0.319068, mean_absolute_error: 5.844489, mean_q: -0.898561
done, took 14.346 seconds
Testing for 1 episodes ...