複数回RNNの学習をしようとするとグラフの更新の箇所でエラーが出ます

Question

ハイパーパラメータを変えながらfor文を回してRNNを実行すすることで最適な値を探索したいです

PythonとTensorflowを使った機械学習とプログラミングの勉強を始めたばかりです。
インターネットの記事を参考にしながらRNNの実装を行いました。参考にした記事は
https://deepinsider.jp/tutor/introtensorflow/buildrnn
です。
さらに自分の勉強のためにノードの数やミニバッチのサイズなどを変えながらよりよい学習ができるパラメータを探そうと思いました。

発生している問題・エラーメッセージ

for文を使ってパラメータを変えながらRNNを複数回やってみたのですが、下のようなエラーメッセージが出てしまいました。

ValueError: Variable rnn/basic_rnn_cell/kernel already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope?

該当のソースコード

全部載せると長くなるのでforループの部分です。他の部分は上記の記事にすべて載っています。

for k in range(5):
    # RNNセルの作成
    cell = tf.nn.rnn_cell.BasicRNNCell((k+1)*20)
    initial_state = cell.zero_state(tf.shape(x)[0], dtype=tf.float32)
    outputs, last_state = tf.nn.dynamic_rnn(cell, x, initial_state=initial_state, dtype=tf.float32)

    # 全結合
    # 重み
    w = tf.Variable(tf.zeros([(k+1)*20, FEATURE_COUNT]))
    # バイアス
    b = tf.Variable([0.1] * FEATURE_COUNT)
    # 最終出力（予測）
    prediction = tf.matmul(last_state, w) + b

    # 損失関数（平均絶対誤差：MAE）と最適化（Adam）
    loss = tf.reduce_mean(tf.map_fn(tf.abs, y - prediction))
    optimizer = tf.train.AdamOptimizer().minimize(loss)

    # バッチサイズ
    BATCH_SIZE = 16
    # 学習回数
    NUM_TRAIN =  10_000
    # 学習中の出力頻度
    OUTPUT_BY = 500

    # 標準化
    train_mean = train_dataset.mean()
    train_std = train_dataset.std()
    standardized_train_dataset = train_dataset.standardize()

    # 学習の実行
    sess.run(tf.global_variables_initializer())
    for i in range(NUM_TRAIN):
        batch = standardized_train_dataset.next_batch(SERIES_LENGTH, BATCH_SIZE)
        mae, _ = sess.run([loss, optimizer], feed_dict={x: batch[0], y: batch[1]})
    if i % OUTPUT_BY == 0:
        print('step {:d}, error {:.2f}'.format(i, mae))

試したこと

インターネットで調べたところ

tf.reset_default_graph()

をループの頭に付け加えると解決するかもとの情報を得たのでやってみたのですが、
今度は

RuntimeError: The Session graph is empty.  Add operations to the graph before calling run().

というエラーになってしまいました。

補足情報（FW/ツールのバージョンなど）

Answer 1

tensorflowの処理の順序として、
1)グラフ構築
2)sessionの定義(項番1で構築したグラフをひとまとめにするイメージ)
3)グラフの初期化
4)runによるグラフ実行
になります。

質問のコードはsessionの定義がないので、2回目のグラフが実行可能になっていません。言い換えると、rest_default_graphでクリアされたままになっています。

よって、initializerを実行する前にsess=...のコードを加えるとうまくいくはずです