任意の層を取り出すための，ファインチューニングを前提としたモデルの定義方法

Question

前提

こちらを参考にResNet50V2を元とした2入力の距離学習を行うようなモデルを定義し，ファインチューニングを行います.

使用したソースコード

最終的にUmapにより中間層の出力を可視化するためにこちらを参考に，出力を取り出したい層に　
name="hidden"
と名前を付けました.

まずは，以下に定義したモデルと実際のソースコードを記載します.

# model定義
from tensorflow.keras.applications.resnet_v2 import ResNet50V2
(その他のimportは省略)

def create_model(input_shape):
    # ResNet50V2の入力層の前に独自の入力層を追加
    input_model = Sequential()
    input_model.add(InputLayer(input_shape=input_shape))
    input_model.add(Conv2D(3, (7, 7), padding='same'))
    input_model.add(BatchNormalization())
    input_model.add(Activation('relu'))
    base_network = ResNet50V2(include_top=False, weights=None, input_tensor=input_model.output)

    # 出力層の追加(ここで29クラス分の出力ができるよう設定)
    flat1 = Flatten()(base_network.layers[-1].output)
    dense1 = Dense(512, name="hidden")(flat1) # ここの層の出力を出力したい
    acti = Activation('relu')(dense1)
    dense = Dense(29, activation="softmax")(acti) # 29クラス分の出力
    base_network = Model(base_network.inputs, dense)

    # DLしてある重みの読み込み
    base_network.load_weights('save_model_weights/weights_imagenet.hdf5', by_name=True)

    # 2入力
    input_a = Input(shape=input_shape)
    input_b = Input(shape=input_shape)

    processed_a = base_network(input_a)
    processed_b = base_network(input_b)

    # 距離の計算
    distance = Lambda(euclidean_distance, # 独自に定義したユークリッド距離関数
                      output_shape=eucl_dist_output_shape)([processed_a, processed_b])

    model = Model([input_a, input_b], distance)

    return model

次を実行し，"hidden"と名前を付けた層を取り出そうとすると実際にエラーが吐かれました.

input_shape = (110, 110, 1) #110×110の二値画像(チャネル数1)を入力

model = create_model(input_shape) 
# ファインチューニングによる学習後の重みを読み込む
model.load_weights('weights.hdf5')

layer_name = "hidden"
hidden_model = Model(inputs=model.input, outputs=model.get_layer(layer_name).output)

エラー内容

実際に吐かれたエラー内容です.

ValueError: No such layer: hidden. Existing layers are: ['input_2', 'input_3', 'model', 'lambda'].

"hidden"と名前のついた層はないと怒られました.
恐らく上記で定義したcreate_model()の中のbase_networkがmodelという名前の層にまとめられてしまっているため，"hidden"と名前のついた層を取り出せないといった認識です.

具体的な原因が分からないため質問させていただきました.
"hidden"と名前のついた層を取り出すためにはどのようにコードを書き換えるとよいでしょうか.
ご教授いただければ幸いです.

補足情報（FW/ツールのバージョンなど）

model.summary() の実行結果です.

Model: "model_1"
__________________________________________________________________________________________________
 Layer (type)                   Output Shape         Param #     Connected to                     
==================================================================================================
 input_2 (InputLayer)           [(None, 110, 110, 1  0           []                               
                                )]                                                                
                                                                                                  
 input_3 (InputLayer)           [(None, 110, 110, 1  0           []                               
                                )]                                                                
                                                                                                  
 model (Functional)             (None, 29)           40357567    ['input_2[0][0]',                
                                                                  'input_3[0][0]']                
                                                                                                  
 lambda (Lambda)                (None, 1)            0           ['model[0][0]',                  
                                                                  'model[1][0]']                  
                                                                                                  
==================================================================================================
Total params: 40,357,567
Trainable params: 40,312,121
Non-trainable params: 45,446
__________________________________________________________________________________________________

バージョン

ubuntu　20.04
Python　3.8.10

tensorflow-gpu　2.5.3
keras　2.8.0
numpy　1.19.5

jupyter lab　2.3.2

Answer 1

学習用のモデルと推論用のモデルを別にする。
学習時は学習用のモデルで学習を行い、推論時は推論用のモデルで推論を行う。

- model = Model([input_a, input_b], distance)
+ t_model = Model([input_a, input_b], distance) # 学習用モデル
+ p_model = Model([input_a, input_b], [distance, processed_a, processed_b]) # 推論用モデル

- return model
+ return t_model, p_model

学習時

input_shape = (224, 224, 3)
t_model, _ = create_model(input_shape)

# data_x, data_y = load_dataset()
# t_model.fit(data_x, data_y, epoch=10, batch_size=4)
t_model.save_weights("weights.hdf5")

推論時

計算グラフは異なっていても使用しているレイヤーは同じである

input_shape = (224, 224, 3)
t_model, p_model = create_model(input_shape)

t_model_base_network = t_model.get_layer('model')
p_model_base_network = p_model.get_layer('model')

print(t_model_base_network)
print(p_model_base_network)

<keras.engine.functional.Functional object at 0x7f89d04e9d00>
<keras.engine.functional.Functional object at 0x7f89d04e9d00>

これによりモデル間で重みが共有される。
学習用のモデルで重みをロードすれば推論用のモデルでも重みがロードされる。

t_model.load_weights("weights.hdf5")

is_equal_weight = t_model_base_network.layers[-1].weights[0] == p_model_base_network.layers[-1].weights[0]
print(is_equal_weight)

<tf.Tensor: shape=(512, 29), dtype=bool, numpy=
array([[ True,  True,  True, ...,  True,  True,  True],
       [ True,  True,  True, ...,  True,  True,  True],
       [ True,  True,  True, ...,  True,  True,  True],
       ...,
       [ True,  True,  True, ...,  True,  True,  True],
       [ True,  True,  True, ...,  True,  True,  True],
       [ True,  True,  True, ...,  True,  True,  True]])>

よってsoftmax出力が取得できる。

img1 = load_img()
img2 = load_img()
distance, pred1, pred2 = p_model.predict([img1, img2])

Answer 2

layer_name = "hidden"
base_network = model.get_layer("model")
hidden_layer = base_network.get_layer(hidden_name)

2 追記 (2022-12-06)

学習しないのであれば以下のようにすることでsoftmax出力が取得できると思います。

- model = Model([input_a, input_b], distance)
+ model = Model(inputs=[input_a, input_b], outputs=[distance, processed_a, processed_b])

2.1 モデルの出力の確認

input_shape = (224, 224, 3)
model = create_model(input_shape)

import pprint
pprint.pprint(model.output)

[<KerasTensor: shape=(None, 29) dtype=float32 (created by layer 'lambda_2')>,
 <KerasTensor: shape=(None, 29) dtype=float32 (created by layer 'model_3')>,
 <KerasTensor: shape=(None, 29) dtype=float32 (created by layer 'model_3')>]

2.2 テスト

import numpy as np

img1 = np.random.random((1, 224, 224, 3)).astype("float32")
img2 = np.random.random((1, 224, 224, 3)).astype("float32")
outs = model.predict([img1, img2])
distance, pred1, pred2 = outs

Comments

[harug]

ご回答ありがとうございます.
”model”レイヤーを経由する必要があるのですね.
1つ質問なのですが，もし出力層のsoftmaxの確率値を得るためにはlayer_nameの部分を”softmax”に変更すれば同様に値を得ることができるのでしょうか.

[kenhara]

```git
- dense = Dense(29, activation="softmax")(acti) # 29クラス分の出力
+ dense = Dense(29, activation="softmax", name='softmax_dense')(acti) # 29クラス分の出力
```
```python
layer_name = "softmax_dense"
softmax_layer = base_network.get_layer(layer_name)
print(softmax_layer.name)
print(softmax_layer.output)
```
上記でレイヤーは取得できます

[harug]

ご丁寧なご回答ありがとうございます.
言葉が足りませんでした.
前提として質問時のモデルの構成で学習を行い，それで得られた重みをロードした学習済みモデルを使用しsoftmaxの値を得るのも上記で可能でしょうか.