Google Colab上でTensorFlowの学習データを保存

Question

google colab上でTPUを使うためにkeras.tensorflowをインポートしoptimizerをtf.train.RMSPropOptimizer(...)という形で使用しているのですが、google driveにマウントし、model.save("/content/gdrive/My Drive/###.h5")のように保存すると、

WARNING:tensorflow:TensorFlow optimizers do not make it possible to access optimizer attributes or optimizer state after instantiation. As a result, we cannot save the optimizer as part of the model save file.You will have to compile your model again after loading it. Prefer using a Keras optimizer instead (see keras.io/optimizers).

という警告が返ってきました。これはモデルが学習済みであれば、重みとモデルは保存されているのでモデルを使って予測できるが、途中で学習を中断したモデルであればもう一度ゼロからmodel.fit()をしなおさなければならないということでしょうか？
もしそうであるとして、たとえ学習途中で保存してもそこからリスタートできる保存方法があるならばそれも教えていただきたいです。

そもそも私の、model.save()では重みやモデルそのものがすべてsaveされるという認識はあっているのでしょうか？質問が多いですが教えていただきたく思います。

Answer 1

分かる範囲で答えます。

これは、optimizerがkerasのものでないので、optimizerの状態が保存できない、というものです。
（ただ、TPU計算ではkerasのoptimizerは今のところ使えない（はず）なので、これは回避できないと思います）
そのため、学習を中断してしまうと、学習途中のoptimizerの状態が復元できなくなります。
ただ、重みとモデルは保存されているので予測は可能ですし、その重みを学習の初期値として扱うことは可能といえば可能です（optimizerはリセットされてしまうのでうまく学習できるかどうかは分かりませんが）。

optimizerの状態を含めて「学習途中で保存してもそこからリスタートできる保存方法」があるかどうかは、私は分かりません。

Comments

[a_boy]

http://tensorflow.classcat.com/2018/08/28/tensorflow-tutorials-keras-save-and-restore-models/

上記のサイトの一番下に、

『Keras はアーキテクチャを調べてモデルをセーブします。現在、TensorFlow optimizer (from tf.train) をセーブすることはできません。それらを使用するときはモデルをロードした後で再コンパイルする必要があり optimizer の状態を解き放つでしょう。』

という記述がありました。ここでいうコンパイルというのは何を指すのでしょうか？学習しなおさなければならないということでしょうか？

ディープラーニングにおけるコンパイルという言葉自体の意味が調べてもいまいちわからなかったので教えていただきたいです。
質問が重なり申し訳ありません。

[fiveHundred]

> ここでいうコンパイルというのは何を指すのでしょうか？
ModelクラスやSequentialモデルのcompile()のことだと思います。

> 学習しなおさなければならないということでしょうか？
optimizerの状態はリセットされますが、重みは保存されているので、それを使って再学習させることは可能です。
（私はあまり詳しくないので、optimizerについてはご自身で調べたほうがよろしいかと思います。すいません）