Kerasで学習済みのモデルを使って別のデータを学習したい

Question

前提・実現したいこと

kerasで学習済みのモデルを使って新しいデータの学習を行いたいのですが、うまくいっていないためこちらで質問させていただきます。
学習済みモデルの下5層を削除し、Flatten層と全結合層を追加したいのですが、以下のコードを実行し、model.summaryを確認すると学習済みモデルがそのまま表示されます。
どうすれば上記のやりたいことを実現できるかご教示いただけないでしょうか。
初めての試みのため、説明や理解に不足があるかと思いますが、ご確認いただけますと幸いです。

該当のソースコード

from glob import glob
import warnings

import keras
from keras.datasets import mnist
from keras.models import Sequential, load_model, Model
from keras.layers import Dense, Dropout, Activation, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras.models import load_model
from keras.optimizers import SGD, Adam
from keras.callbacks import EarlyStopping, ModelCheckpoint, ReduceLROnPlateau, CSVLogger, LearningRateScheduler
from keras.utils import np_utils

import h5py

#学習済みモデルの読み込み
model = load_model('./models/mnist_vgg8_arcface_3d/original_model.hdf5', custom_objects={'ArcFace': ArcFace})

#学習済みモデルの下から5層を削除（うまくいっていない）
model.layers.pop()
model.layers.pop()
model.layers.pop()
model.layers.pop()
model.layers.pop()

#学習済みモデルの23層までは再学習を行わない（これはうまくいっている様子）
for i in range(24):
    model.layers[i].trainable=False

#Flatten層と全結合層の追加（うまくいっていない）
input_shape=(28, 28, 1)
image = Input(shape=input_shape, name='model_input')
x = Flatten()(image)
Dense(1, activation='sigmoid', name='ALOCC')(x)
model = Model(inputs=model.input, outputs=model.output)

model.summary()

Comments

[0kcal]

model = Model(inputs=model.input, outputs=model.output)
あたりも、全然、その前の何行かを
引き込めてない書き方だと思います。

[SuzuAya]

0kal様、ご指摘ありがとうございました。

Answer 1

Keras の使い方として layers 属性を書き換えたりするのは想定していないと思います。

model.layers.pop()

すでにあるモデルの途中の層から新たに層を追加してモデルを作りたい場合は以下のようにします。

from tensorflow.keras.layers import Activation, Conv2D, Dense, Flatten, MaxPooling2D
from tensorflow.keras.models import Sequential, Model

# LeNetを構築する
model = Sequential(
    [
        Conv2D(
            20,
            kernel_size=3,
            padding="same",
            activation="relu",
            input_shape=(28, 28, 3),
        ),
        MaxPooling2D(),
        Conv2D(50, kernel_size=3, padding="same", activation="relu"),
        MaxPooling2D(),
        Flatten(),
        Dense(500, activation="relu"),
        Dense(10, activation="softmax"),
    ]
)
model.summary()
# Model: "sequential"
# _________________________________________________________________
# Layer (type)                 Output Shape              Param #   
# =================================================================
# conv2d (Conv2D)              (None, 28, 28, 20)        560       
# _________________________________________________________________
# max_pooling2d (MaxPooling2D) (None, 14, 14, 20)        0         
# _________________________________________________________________
# conv2d_1 (Conv2D)            (None, 14, 14, 50)        9050      
# _________________________________________________________________
# max_pooling2d_1 (MaxPooling2 (None, 7, 7, 50)          0         
# _________________________________________________________________
# flatten (Flatten)            (None, 2450)              0         
# _________________________________________________________________
# dense (Dense)                (None, 500)               1225500   
# _________________________________________________________________
# dense_1 (Dense)              (None, 10)                5010      
# =================================================================
# Total params: 1,240,120
# Trainable params: 1,240,120
# Non-trainable params: 0
# _________________________________________________________________
model.compile(loss="categorical_crossentropy", optimizer="adam", metrics=["accuracy"])

# すでにあるモデルの途中から新しいモデルを作る。
flatten = model.layers[-3].output
print(flatten.name)

fc1 = Dense(100, activation="relu")(flatten)
fc2 = Dense(20, activation="softmax")(fc1)
new_model = Model(inputs=model.inputs, outputs=fc2)
new_model.summary()
# Model: "model"
# _________________________________________________________________
# Layer (type)                 Output Shape              Param #   
# =================================================================
# conv2d_input (InputLayer)    [(None, 28, 28, 3)]       0         
# _________________________________________________________________
# conv2d (Conv2D)              (None, 28, 28, 20)        560       
# _________________________________________________________________
# max_pooling2d (MaxPooling2D) (None, 14, 14, 20)        0         
# _________________________________________________________________
# conv2d_1 (Conv2D)            (None, 14, 14, 50)        9050      
# _________________________________________________________________
# max_pooling2d_1 (MaxPooling2 (None, 7, 7, 50)          0         
# _________________________________________________________________
# flatten (Flatten)            (None, 2450)              0         
# _________________________________________________________________
# dense_2 (Dense)              (None, 100)               245100    
# _________________________________________________________________
# dense_3 (Dense)              (None, 20)                2020      
# =================================================================
# Total params: 256,730
# Trainable params: 256,730
# Non-trainable params: 0
# _________________________________________________________________

# 再度コンパイルが必要
new_model.compile(loss="categorical_crossentropy", optimizer="adam", metrics=["accuracy"])

Comments

[SuzuAya]

>tiitoi様
いつもわかりやすいご回答を本当にありがとうございます。教えていただいた内容でうまくいきました！ちなみに、Flatten層より前の層は学習させたくない場合は、以下の２行を記載しておけば良いという理解で合っていますでしょうか。
for i in range(24):# 23層目(Flatten層の1つ前）までは再学習させない
model.layers[i].trainable=False

[tiitoi]

それであってますが、model は元のモデルではなく、新しく作成したモデルオブジェクトである必要があります。

[SuzuAya]

>tiitoi様
早速ありがとうございます！新しいモデルオブジェクトで試してみましたが問題なさそうです。大変助かりました。