Keras/tensorflowで学習中に同じサイズの層同士で入れ替えることが可能か

Question

実現したいこと

Keras/tensorflow(できればKeras)を利用して最初に構成し、学習したニューラルネットワークの一部を交換し再度学習を行うというものを実装したいと考えています。
できれば交換して戻すという一連の流れを一度学習データをセーブすることを避けて実装したいです。（無理ならいいですが）
下の図が例ですが四角で囲まれた範囲の重みを前後入れ替えて戻してを繰り返しながら学習を進めたいというようなものになります。
流れをまとめると
0. モデルを定義
0. とりあえず1バッチ中の1データ分だけ普通に学習
0. 次に学習するとき2-3と3-4の重みを交換して2回目の学習
0. また2-3と3-4を交換してもとと同じ並びにして3回目の学習
0. 学習が終わるまで3~4を続ける

2-3-4を4-3-2とする
(1-2-3-4-5 ⇒ 1-4-3-2-5)

![(ネットワークイメージ図)

これをしても意味がないという意見は受け付けてません。（言われる気がするので事前に言っておきます）

Comments

[Q71]

2-3、3-4を入れ替えるとは？2-3-4を4-3-2とする？3-2-4、2-4-3の2回？その他？
1データとは？1イテレーション？1バッチ？1エポック？それとも1バッチ中の1データ？

[NN99]

1バッチ中の1データで
2-3-4を4-3-2とする
ということになります
わかりにくくて申し訳ありません。

Answer 1

実装経験がないのでうまくいく保証はありませんが、実現可能と思います。
tensorflowの場合、学習後のパラメータの保存ができます。この保存は、個々のパラメータ単位でも可能なので、入れ替えてロードして学習処理を継続すればいいのではないでしょうか？

つまり、iteration処理で、
１．初期学習の実行
２．パラメータの保存
３．パラメータを入れ替えてロード
４．学習の継続
以降、２から繰り返し
を実装すればいいと思います。

少し話が変わりますが、質問に記載のような学習を行うと、最終的にはパラメータを入れ替えても矩形部分の入力と出力がおおよそ同じになるようになるはずです。（意味がないという意見を受け付けないと記載があることは、ご本人もそのことを予見しているためかを思います）
この入力と出力が同じになるようなモデルは『自己符号化器』として知られています。この自己符号化器のパラメータですが、別々にしてもいいし共有化してもいいとされています。そこで、入れ替えをする代わりにパラメータを共有にすることで、似たような結果が得られるかもしれません。