質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.07%

kerasを使った学習済モデルへの新規層の挿入

受付中

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 1,549

muuu4649

score 11

やりたいこと

kerasを使ったニューラルネットワークの構築で新規層(未学習)を学習済のモデルに挿入したい。
下記のやってみたことのエラー解決法もしくは異なる解決法を知りたいです。

具体的には

   model = Sequential()
   model = keras.models.load_model('weights.h5', compile=False)
   model.add(Embedding(vocab_size, 50, input_length=embed-1))
   model.add(keras.layers.Conv1D(192,10,activation='relu'))
   model.add(BatchNormalization())
   model.add(LSTM(224,return_sequences=True))
   model.add(LSTM(384,return_sequences=True))
   model.add(Flatten())
   model.add(Dropout(0.4))
   model.add(Dense(1, activation='linear'))
   model.trainable=False


この重みをloadした層に下記の層を挿入したい。

BatchNormalization()
Dense(100,activation='selu')
Conv1D(128, 3, padding='same', input_shape=(64, 1))
BatchNormalization()
Dense(100,activation='selu')
Conv1D(256, 3, padding='same', input_shape=(64, 1))
Dropout(0.1)
Conv1D(512, 3, padding='same', input_shape=(embed-1, 1),activation='softplus')

やったこと

下記URLを参考にさせていただきました。
https://qiita.com/koshian2/items/04853466d77bab360c9d

def create_normal_model():
   model = Sequential()
   model = keras.models.load_model('weights.h5')
   model.add(Embedding(vocab_size, 50, input_length=embed-1))
   model.add(keras.layers.Conv1D(192,10,activation='relu'))
   model.add(BatchNormalization())
   model.add(LSTM(224,return_sequences=True))
   model.add(LSTM(384,return_sequences=True))
   model.add(Flatten())
   model.add(Dense(100, activation='relu'))
   model.add(Dropout(0.4))
   model.add(Dense(1, activation='linear'))
   model.trainable=False
   return model

def insert_res_model():
   model = create_normal_model()
   for i, layer in enumerate(model.layers):
      if i==0:
         input = layer.input
         x = input

         if "Embedding" in layer.name:
            layer.activation=activation.linear
            x=layer(x)
            x= BatchNormalization()(x)
            x= Dense(100,activation='selu')(x)
            x= Conv1D(128, 3, padding='same', input_shape=(64, 1))(x)
            x= BatchNormalization()(x)
            x= Dense(100,activation='selu')(x)
            x= Conv1D(256, 3, padding='same', input_shape=(64, 1))(x)
            x= Dropout(0.1)(x)
            x= Conv1D(512, 3, padding='same', input_shape=(embed-1, 1), activation='softplus')(x)
         else:
            x = layer(x)
      res_model=Model(input,x)
      return res_model

model=insert_res_model()
model.summary()

出力エラー

Traceback (most recent call last):
  File "mask.py", line 144, in <module>
    model=insert_res_model()
  File "mask.py", line 122, in insert_res_model
    model = create_normal_model()
  File "smiles2vec_mask.py", line 105, in create_normal_model
    model = keras.models.load_model('weights.h5', compile=False)
  File "/anaconda3/lib/python3.6/site-packages/keras/engine/saving.py", line 419, in load_model
    model = _deserialize_model(f, custom_objects, compile)
  File "/anaconda3/lib/python3.6/site-packages/keras/engine/saving.py", line 221, in _deserialize_model
    model_config = f['model_config']
  File "/anaconda3/lib/python3.6/site-packages/keras/utils/io_utils.py", line 302, in __getitem__
    raise ValueError('Cannot create group in read only mode.')
ValueError: Cannot create group in read only mode.

わかるかたがいればよろしくお願いいたします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

+1

コードやエラー内容をほとんど見ていません。
質問文から、「既存のネットワークに、層を追加する。このとき、既存のネットワーク向けに学習済みのモデルをロードした(学習済みの係数を設定した)後に、層を追加したい」と理解しました。

入力層-隠れ層1-隠れ層2-…隠れ層N-出力層 と続くわけですが、ある層(例えば隠れ層2)の係数がその値であるのは、直前の層(隠れ層1)の出力に依存します。従って、隠れ層1と隠れ層2の間に「隠れ層1.5」を挿入するのであれば、全体を学習し直さなければなりません。

学習の仕方を考えてみてください。出力層の結果を、直前の層へ伝播させて学習します。ここにつながりがあります。間に他の層を挿入すると言うことは、このつながりを断ち切るわけで、何をどう判断すれば良いのかわからなくなります。

エラー内容は「Cannot create group in read only mode」なので、「読み取り専用モードではグループを作成できません」ということです。モデルをロードしたので読み取り専用(ネットワークの構成についてのことと思われる)になったと考えられます。

この手の問題は、「これこれこういう理由で、学習済みのネットワークに層を挟み込めば良いのではないかと考えた」という所を追加説明してくださると、代替手段を提案できる(方がいらっしゃる)かも知れません。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.07%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る