TensorFlow2 の重みを見る方法について

Question

TensorFlow2　とkeras で作成したモデルの重みを確認したいです。以下の方法を試しましたが、空です。どうしたら、重みを見ることができるでしょうか？よろしくお願いします。(※最終的にやりたいことは重みを0.1で全て初期化したいということです。それがうまく働かないので、中身を確認しようとしたのですが、それさえできませんでした)

# (Google Colab)
import tensorflow as tf
import tensorflow.keras.layers as kl

class MyNet(tf.keras.Model):
    def __init__(self):
        super(MyNet, self).__init__()

        # 重みを全て0.1 で初期化
        initializer = tf.keras.initializers.Constant(0.1)

        self.dense1 = kl.Dense(10, activation="linear",
                               kernel_initializer=initializer)


model = MyNet()
# tf.print(model.layers)
# print(l.get_weights())
l = model.layers[0]
print(type(l.get_weights())) # --> <class 'list'>
print(len(l.get_weights())) # --> 0
print(l.get_weights()[0]) # --> IndexError: list index out of range

Comments

[modieu]

コメントの前に全角スペースがあるので修正したほうがいいかと

[teefpc]

半角スペースに修正いたしました。

Answer 1

tf.kerasのFunctional API型の記述方式では、モデルにinput_shapeを与えてbuildした時に、weightが生成されます。また、callメソッドを実装する必要があります。

参考: Tensorflow Core 機能API カスタムレイヤーを使用してAPIを拡張する

※このドキュメントはDenseレイヤーそのもののカスタマイズを説明していますが、今回の質問者様の記述スタイルはこれと同じです。なおbuildメソッドは実装必須ではない（親クラスのbuildを呼び出せば良い）、と書かれています。

よって、以下のように実装すると、目的のものが得られます。

import tensorflow as tf
import tensorflow.keras.layers as kl

class MyNet(tf.keras.Model):
    def __init__(self):
        super(MyNet, self).__init__()
        initializer = tf.keras.initializers.Constant(0.1)

        self.dense1 = kl.Dense(10, activation="linear",
                               kernel_initializer=initializer)
    def call(self, x):      # 追加
        x = self.dense1(x)  # 追加
        return x            # 追加


model = MyNet()
model.build(input_shape=(5,1)) # 追加
l = model.layers[0]
print(type(l.get_weights())) # --> <class 'list'>
print(len(l.get_weights())) # --> 2
print(l.get_weights()[0]) # --> [[0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1]]

なお、PyTorchから始められるとこの書き方の方が馴染みがありますが、kerasの場合は、特別な理由がない限りSequential API型で記述されたほうが、シンプルです。

Comments

[teefpc]

大変ありがとうございました。