keras_bertに関する質問

Question

BERTの学習済みモデルをkeras_bertを用いて再学習し.h5形式で保存しました。
また、.h5形式のモデルをロードし、入力した文章の[CLS]の特徴量を取得したいと考えています。
調べたところextract_embeddingsを使用し特徴量を取得しできそうな感じがしたのですが、ckpt形式で保存されていないといけないと言うことでした。
.h5形式で保存したモデルから特徴量を取得する方法がわからなくて困っています。
もしよろしければご教授いただけると幸いです。

import numpy as np
import os
import csv
import codecs
from keras_bert import load_trained_model_from_checkpoint
from keras_bert import Tokenizer
from keras.optimizers import Adam
from keras.models import Model, load_model
from keras.layers import Dense
from keras_bert.backend import keras
from keras_bert.layers import TokenEmbedding, Extract
from keras_pos_embd import PositionEmbedding
from sklearn.metrics import classification_report
from keras.utils import np_utils
from keras_position_wise_feed_forward import FeedForward
from keras_multi_head import MultiHeadAttention
from keras_transformer import gelu
from sklearn import metrics
from keras_layer_normalization import LayerNormalization


x_train = np.load('dataset'+os.sep+'train'+os.sep+'x_train.npy').tolist()
y_train = np.load('dataset'+os.sep+'train'+os.sep+'y_train.npy')
x_train =[np.array(x_train[0]),np.array(x_train[1])]

BATCH_SIZE = 16
EPOCHS = 1
LR = 5e-5
SEQ_LEN = 64
BERT_DIM = 768

pretrained_path = 'uncased_L-12_H-768_A-12'
config_path = os.path.join(pretrained_path, 'bert_config.json')
checkpoint_path = os.path.join(pretrained_path, 'bert_model.ckpt')
vocab_path = os.path.join(pretrained_path, 'vocab.txt')

bert = load_trained_model_from_checkpoint(
    config_path,
    checkpoint_path,
    training=True,
    trainable=True,
    seq_len=SEQ_LEN
)

inputs = bert.get_layer('NSP-Dense').output
output = Dense(units=1, activation='sigmoid')(inputs)
model = Model(bert.inputs[:2], output)
model.summary()

# from keras_bert import AdamWarmup, calc_train_steps
# total_steps, warmup_steps = calc_train_steps(
#     num_example=np.array(x_train).shape[0],
#     batch_size=BATCH_SIZE,
#     epochs=EPOCHS,
#     warmup_proportion=0.1,
# )

model.compile(
    optimizer=Adam(lr=0.001,beta_1=0.9,beta_2=0.999),
    # optimizer = AdamWarmup(total_steps, warmup_steps, lr=1e-3, min_lr=1e-5),
    loss='binary_crossentropy',
    metrics=['acc']
)

result = model.fit(
    x_train,
    y_train,
    epochs=EPOCHS,
    batch_size=BATCH_SIZE
)

print(result.history.keys())
import matplotlib.pyplot as plt
plt.plot(range(1,EPOCHS+1), result.history['acc'], label='acc')
plt.plot(range(1,EPOCHS+1), result.history['loss'], label='loss')
plt.xlabel('epoch')
plt.ylabel('acc')
plt.legend()
plt.savefig('plt.jpg')

model.save('BERT_matching_model.h5')

model_path = 'BERT_matching_model'

texts = ['all work and no play', 'makes jack a dull boy']
from keras_bert import extract_embeddings
embeddings = extract_embeddings(model_path, texts)
print(len(embeddings[0]))