質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Keras

Kerasは、TheanoやTensorFlow/CNTK対応のラッパーライブラリです。DeepLearningの数学的部分を短いコードでネットワークとして表現することが可能。DeepLearningの最新手法を迅速に試すことができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

2回答

1559閲覧

Python k分割交差検証の際のモデル保存方法について

SuzuAya

総合スコア71

Keras

Kerasは、TheanoやTensorFlow/CNTK対応のラッパーライブラリです。DeepLearningの数学的部分を短いコードでネットワークとして表現することが可能。DeepLearningの最新手法を迅速に試すことができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2019/09/28 01:02

前提・実現したいこと

こちらのコードを参考に、kerasで4分割交差検証を行うコードを書きました。
参考にしたコードではモデルを保存していなかったので、以下の通りcallbackを追加したところ、学習は問題なく行えたのですがモデルは保存されていませんでした。

大変お手数ですが、どう修正したらモデルが保存されるようになるか、アドバイスしていただけますととても助かります。
どうぞよろしくお願いいたします。

該当のソースコード(学習データ準備部分は省略しております)

python

1import keras 2from keras.utils import to_categorical 3from sklearn.model_selection import KFold 4import numpy as np 5from keras.models import Model 6from keras.layers import Dense, GlobalAveragePooling2D,Input,Dropout,Activation 7from keras.applications.resnet50 import ResNet50 8from keras.preprocessing.image import ImageDataGenerator 9from keras.optimizers import Adam 10from keras import callbacks 11from keras import backend as K 12from keras.engine.topology import Layer 13import tensorflow as tf 14from keras.preprocessing.image import load_img, img_to_array, array_to_img 15import os 16import glob 17import cv2 18from PIL import Image 19import matplotlib.pyplot as plt 20%matplotlib inline 21 22input_shape = (299, 299, 3) 23classes = 7 24batchsize = 12 25epochs=10 26 27# k-fold CV 28history = [] 29kf = None 30kf = KFold(n_splits=4, random_state=1234) 31 32callbacks_list = [ 33 callbacks.ModelCheckpoint( 34 filepath="model.ep{epoch:02d}.h5", 35 save_weights_only=False, 36 save_best_only=True), 37 38callbacks.EarlyStopping(monitor='loss', patience=3, verbose=1)] 39 40for train_index, val_index in kf.split(x_train, y_train): 41 base_model=keras.applications.densenet.DenseNet121(input_shape=input_shape, 42 weights='imagenet', 43 include_top=False) 44 45 c = base_model.output 46 c = GlobalAveragePooling2D()(c) 47 c = keras.layers.Lambda(lambda xx: 5*(xx)/K.sqrt(K.sum(xx**2)))(c) 48 c = Dense(classes, activation='softmax')(c) 49 model = Model(inputs=base_model.input,outputs=c) 50 model.summary() 51 model.compile(optimizer=Adam(lr=0.001), loss='categorical_crossentropy', metrics=['accuracy']) 52 #model.fit(x=x_train[train_index], y=y_train[train_index], batch_size=batchsize, epochs=epochs, verbose=1, callbacks=callbacks_list) 53 model.fit(x=x_train[train_index], y=keras.utils.to_categorical(y_train[train_index], classes), batch_size=batchsize, epochs=epochs, verbose=1, callbacks=callbacks_list) 54 #history.append(model.evaluate(x=x_train[val_index], y=y_train[val_index], batch_size=batchsize)) 55 history.append(model.evaluate(x=x_train[val_index], y=keras.utils.to_categorical(y_train[val_index], classes), batch_size=batchsize)) 56history = np.asarray(history) 57loss = np.mean(history[:, 0]) 58acc = np.mean(history[:, 1]) 59print(f'loss: {loss} ± {np.std(history[:, 0])} | acc: {acc} ± {np.std(history[:, 1])}')

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

開発環境が現在手元にないので不確かな情報で申し訳ありませんが、
自分も過去に経験した記憶があります

keras callbacks
ドキュメントにも「コールバックのリストを渡すことができます」とありますように
kerasのcallbackは以下のように記述しないといけなかったと記憶しています
callbacks=callbacks_list → callbacks=[callbacks_list]

一度試してみてください。
宜しくお願い致します。

投稿2019/09/30 05:46

---stax---

総合スコア148

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

SuzuAya

2019/09/30 08:23

>---stax---様 ご回答ありがとうございます! []が必要なのですね。 現在。コード自体を修正中のためすぐに実行できないのですが、修正が終わりましたら試してみたいと思います。ご丁寧にありがとうございました。
guest

0

python

1import pickle 2pickle.dump(model, open("model.pkl", 'wb'))

でモデルをセーブできます。
ロードしたいときは

python

1loaded_model = pickle.load(open("model.pkl", 'rb'))

です。

投稿2019/09/28 01:10

fukatani

総合スコア626

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

SuzuAya

2019/09/28 01:27

fukatani様 早速ありがとうございます。大変助かります。 一つ確認させていただきたいのですが、scikit-learnのkfoldを使って交差検証しているので、kerasのcallback機能は使えないという理解でよろしいでしょうか。
fukatani

2019/09/28 01:46

うーんすいません、そこのところはわかっていません。 kfoldだからといって、callbackが使えない理由にはなってない気もします。 ちなみに、保存されたとして、今のコードだとすべて同じ名前のファイルになってしまうので、最後のsplitだけが保存されます。 普通は最後にsplitせずに全てのtrainingデータに対して学習したモデルをfitして保存するような気もします。
SuzuAya

2019/09/28 01:56

>fukatani様 ありがとうございます。モデルの保存について、今のやり方で良いのかまさに今疑問に感じておりました。。自分でも今一度整理したいと思います。ありがとうございました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問