NASのRNNをKerasで実装したい

Question

画像のようなRNNをkerasで実装することはできますでしょうか。

やりたいこととしては、NASに似ている強化学習です。

1. RNNから文字列を出力(画像の場合はACB)
2. その文字列がどの程度最良いかを何らかの関数によって数値で評価
3. 評価した結果を報酬としてRNNに返してRNNを更新

RNNから文字列を出力(画像の場合はACB)
その文字列がどの程度最良いかを何らかの関数によって数値で評価
評価した結果を報酬としてRNNに返してRNNを更新
出力する文字列の長さは固定です。

この形のRNNを組んでいるものを見つけることができなかったため、この形のRNNを組む上で参考になるサイト等を教えていただけると助かります。