学習モデルの重みを取り出したい

ここに実現したいことを箇条書きで書いてください。
タイトルの通り、学習モデルの重みを取り出したいです。

前提

複数の学習モデルの重みの平均を取り、１つのモデルにしたいと考えています。
なお、言語はpythonを使用しています。

発生している問題・エラーメッセージ

モデルを保存する際以下の形式のファイルが保存されます。
・checkpoint
・data-00000-of-oooo1
・index
・meta

しかし、この中のどこに重みが保存されているのか、またどのように呼び出せば良いのかが分からない状態です。

該当のソースコード

def train(self):
    total_step = self.train_inputs.shape[0] * FLAGS.num_epoch // FLAGS.batch_size
    print(self.train_inputs.shape[0])
    print('total step is %d' % total_step)
    config = tf.compat.v1.ConfigProto()
    config.gpu_options.allow_growth = True #メモリを必要分確保
    min_validation_loss = 10
    best_epoch = 0
    with tf.compat.v1.Session(config=config) as sess:
        
        sess.run(tf.global_variables_initializer()) #変数の初期化
        if FLAGS.restore == True:
            self.saver.restore(sess, self.save_path)

        for step in range(total_step):
            print(step)
            sample = random.sample(range(self.train_inputs.shape[0]), FLAGS.batch_size) #入力から、バッチサイズ分の要素をランダムに取り出す
            train_batch = self.train_inputs[sample]
            train_label = self.train_labels[sample]
            sess.run(self.optimizer, feed_dict={self.signal_input: train_batch, self.signal_label: train_label, #学習の実行
                                                self.rnn_keep_prob: FLAGS.rnn_keep_prob, self.dense_drop_rate: FLAGS.drop_rate})
            
            if step % 100 == 0:
                # print('-----------------------------------------------------------')
                train_loss = sess.run(self.loss,
                                      feed_dict={self.signal_input: train_batch, self.signal_label: train_label,
                                                 self.rnn_keep_prob: FLAGS.rnn_keep_prob, self.dense_drop_rate: 0})
                fft_train_loss = sess.run(self.fft_loss,
                                          feed_dict={self.signal_input: train_batch,
                                                     self.signal_label: train_label,
                                                     self.rnn_keep_prob: FLAGS.rnn_keep_prob, self.dense_drop_rate: 0})
                valid_loss = sess.run(self.loss, feed_dict={self.signal_input: self.valid_inputs,
                                                            self.signal_label: self.valid_labels,
                                                            self.rnn_keep_prob: 1,
                                                            self.dense_drop_rate: 0})
                fft_valid_loss = sess.run(self.fft_loss, feed_dict={self.signal_input: self.valid_inputs,
                                                                    self.signal_label: self.valid_labels,
                                                                    self.rnn_keep_prob: 1,
                                                                    self.dense_drop_rate: 0})


                print('current step is %d' % step)
                num_epoch = step * FLAGS.batch_size // self.train_inputs.shape[0]
                print('current epoch is %d' % (num_epoch))
                print('')
                print('train loss is: %f' % train_loss)
                print('fft train loss is: %f' % fft_train_loss)
                print('sum_train loss is: %f' % (train_loss + fft_train_loss))
                print('')
                print('valid loss is: %f' % valid_loss)
                print('fft valid loss is: %f' % fft_valid_loss)
                print('sum_valid real loss is: %f' % (valid_loss + fft_valid_loss))

                print('minimum valid loss is: {0:0.4f} in epoch {1}'.format(min_validation_loss, best_epoch))

                if valid_loss < min_validation_loss:
                    best_epoch = num_epoch
                    min_validation_loss = valid_loss
                    self.saver.save(sess, self.save_path)
                    print(self.save_path)
                 
                    print('best model saved!!')

試したこと

色々調べてみたのですが、他の方のやり方では、コードを一から書き直す必要があるように見えたので、少し自分には難易度が高く、打つ手がありません…

補足情報（FW/ツールのバージョンなど）

私自身機械学習に関して初心者なのと、今回初めてteratailを使用したため、かなり分かりにくい質問内容になっているかと思いますが、ご回答いただけますと幸いです。

ps_aux_grep

2023/03/13 14:39 編集

TensorFlow v2ならself.saverが何か不明ですが多分 self.saver.load_weights(self.save_path) で出来そうじゃないでしょうか？ https://www.tensorflow.org/tutorials/keras/save_and_load?hl=ja#%E3%81%93%E3%82%8C%E3%82%89%E3%81%AE%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%AF%E4%BD%95%EF%BC%9F

jbpb0

2023/03/13 15:19

参考になるかも https://www.taida-information.com/?p=287

ps_aux_grep

2023/03/13 15:44

self.saverがtf.compat.v1.train.Saver()なら https://www.tensorflow.org/api_docs/python/tf/compat/v1/train/Saver#restore self.saver.restore()が正しそうですね

回答2件

ベストアンサー

TensorFlow - Migrating Checkpoints - Load a TF1 checkpoint in TF2より

Python
1a = tf.Variable(0., name='a')
2b = tf.Variable(0., name='b')
3with tf.name_scope('scoped'):
4  c = tf.Variable(0., name='c')
5print("Initialized [a, b, c]: ", [a.numpy(), b.numpy(), c.numpy()])
6saver = tf1.train.Saver(var_list=[a, b, c])
7saver.restore(sess=None, save_path='tf1-ckpt-saved-in-eager')
8print("Restored [a, b, c]: ", [a.numpy(), b.numpy(), c.numpy()])

とあるので，既にあるself.saverに対してself.saver.restore(sess=None, save_path = '/path/to/ckpt/')として読み込めばよい．重みはそれぞれtf.Tensorやtf.Variableなので，.numpy()でnumpy.ndarrayを呼び出し，任意の演算をしたのちモデルに戻せばよいはずである．

投稿2023/03/13 23:21

編集2023/03/13 23:25

ps_aux_grep

総合スコア1255

TensorFlow - Migrating Checkpointsより以下のコードで重みを読み出し，表示していることから

Python
1def print_checkpoint(path):
2    reader = tf.train.load_checkpoint(path)
3    shapes = reader.get_variable_to_shape_map()
4    dtypes = reader.get_variable_to_dtype_map()
5    print(f"Checkpoint at {path}: ")
6    for key in shapes:
7        print(f"\t(key = '{key}', shape = {shapes[key]}, dtype = {dtypes[key].name}, "
8              f"value = {reader.get_tensor(key)})")