Kerasのモデル構築について

Question

Kerasのモデルについてです。

あるモデルを作って学習させた後、そのモデルの一部を変更して再度学習させたい時に、どのようなプログラムを書けば最初に学習させた時の重みを使いながら再度学習することができるでしょうか。
現在、CVAEのプログラムを作ろうとしているところで、止まってしまっています。
プログラムの例などがあると、幸いです。
よろしくお願いします。

from __future__ import print_function

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm
import time
from collections import Counter

from keras.layers import Input, Dense, Lambda, Concatenate
from keras.models import Model
from keras import backend as K
from keras import metrics
from keras.datasets import mnist
from keras import utils

batch_size = 100
original_dim = 784
latent_dim = 10
intermediate_dim = 256
epochs = 25
cat_dim = 10
epsilon_std = 1.0

x = Input(shape=(original_dim,))
h = Dense(intermediate_dim, activation='relu')(x)
z_mean = Dense(latent_dim)(h)
z_log_var = Dense(latent_dim)(h)

def sampling(args):
    z_mean, z_log_var = args
    epsilon = K.random_normal(shape=(K.shape(z_mean)[0], latent_dim), mean=0.,
                              stddev=epsilon_std)
    return z_mean + K.exp(z_log_var / 2) * epsilon

def vae_loss(x, x_decoded_mean):
    x = K.flatten(x)
    x_decoded_mean = K.flatten(x_decoded_mean)
    xent_loss = original_dim * metrics.binary_crossentropy(x, x_decoded_mean)
    kl_loss = - 0.5 * K.sum(1 + z_log_var - K.square(z_mean) - K.exp(z_log_var), axis=-1)
    return K.mean(xent_loss + kl_loss)

z = Lambda(sampling, output_shape=(latent_dim,))([z_mean, z_log_var])

# ラベルありデータのラベルを入力
ly = Input(shape=(cat_dim,))
merge = Concatenate()([z, ly])

decoder_h = Dense(intermediate_dim, activation='relu')
decoder_mean = Dense(original_dim, activation='sigmoid')
h_decoded = decoder_h(merge)
x_decoded_mean = decoder_mean(h_decoded)

# ラベルありの時のモデル
labeled_M2 = Model([x,ly], x_decoded_mean)
labeled_M2.compile(optimizer='rmsprop', loss=vae_loss)


# データ整形
(x_train, y_train), (x_test, y_test) = mnist.load_data()

x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_train = x_train.reshape((len(x_train), np.prod(x_train.shape[1:])))
x_test = x_test.reshape((len(x_test), np.prod(x_test.shape[1:])))


# トレーニングデータを100個選択

random_Num = np.random.randint(0,10000)
np.random.seed(random_Num)
np.random.shuffle(x_test)
np.random.seed(random_Num)
np.random.shuffle(y_test)
x_realtest = x_test[100:] # テストデータ
y_realtest = y_test[100:] # テストデータのラベル
x_test = np.delete(x_test, range(100,10000), axis=0)
y_test = np.delete(y_test, range(100,10000), axis=0)

# 教師なしデータ,教師ありデータ,テスト用データのラベルを,それぞれone-hot表現にする
y_train_cat = utils.to_categorical(y_train)
y_test_cat = utils.to_categorical(y_test)
y_realtest_cat = utils.to_categorical(y_realtest)

labeled_M2.fit([x_train, y_train_cat],
        shuffle=True,
        epochs=epochs,
        batch_size=batch_size)


# ラベルなしの時のモデル
uy = Dense(intermediate_dim, activation='relu')(x)
merge = Concatenate()([z, uy])
h_decoded = decoder_h(merge)
x_decoded_mean = decoder_mean(h_decoded)

unlabeled_M2 = Model([x,uy],x_decoded_mean)
unlabeled_M2.compile(optimizer='rmsprop', loss=vae_loss)

labeled_M2.summary()
unlabeled_M2.summary()

Answer 1

回答になるかは分かりませんが、私は下記の3つを参考にして作成したことあります。

https://github.com/nnormandin/Conditional_VAE

https://github.com/hwalsuklee/tensorflow-mnist-CVAE

https://github.com/musyoku/variational-autoencoder

現在、CVAEのプログラムを作ろうとしているところで、止まってしまっています。

こちらのエラーコードはありますか？

Comments

[tanshoko]

ご回答、ありがとうございます。
コードについては、質問に追記しました。
損失関数は、仮で置いているだけなので、無視していただいて構いません。
モデルの参考にしたのは、下記のサイトです。

http://bjlkeng.github.io/posts/semi-supervised-learning-with-variational-autoencoders/