自作モデルで転移学習をするにはどうしたら良いですか．

Question

前提・実現したいこと

pythonにて，kerasを用いて自作モデルをもとに転移学習をしようとしています．

発生している問題・エラーメッセージ

VGG16などの提供されているモデルでは，転移学習を行う際にモデルを読み込む時，

base_model = VGG16(include_top=False,weights='imagine',input_shape=input_shape)

のように引数なども提供されており，比較的簡単に実装することができます．

これと同様のことを，自作モデルで記述する方法を知りたいです．

試したこと

現在試した方法として，以下のように

base_model = load_model('モデル名',include_top,・・・) #・・・は先ほどのVGG16の際に記述した内容と同様

を試しましたが，以下のエラーが吐かれました．

base_model = base_model(input_shape=input_shape,include_top=False,weights="imagenet")

TypeError: call() missing 1 required positional argument: 'inputs'

補足情報（FW/ツールのバージョンなど）

tensorflow=1.14.0=gpu_py36h305fd99_0
keras=2.2.4=0
keras-applications=1.0.8=py_1
keras-base=2.2.4=py36_0
keras-preprocessing=1.1.0=py_1
opencv-python=4.4.0.46=pypi_0

解決して欲しいこと

自作モデルにおいても，転移学習を実行するためにinclude_top=Falseを行うにはどうしたら良いでしょうか．
転移学習をする方法など，教えていただきたいです．

Answer 1

VGG16は、関数として定義されています。

参考: GitHubのVGG16のソース

この中で、if include_top:などの処理が愚直に記載されているに過ぎません。

質問者様が利用したload_modelはモデルをまるごとロードする関数であり、include_topなどのオプション機能はありません。

ですので、def MyModelといった形でinclude_topを引数に持つ新たな関数を作成し、その中でload_modelを呼び出し、if include_top:などと処理を自分で実装していくしかありません。

Comments

[kohei_0730]

回答ありがとうございます．
VGG16などの提供されているモデルそれぞれに独自に実装されているものなのですね．

VGG16のコードを確認したところ，include_topの部分では，FalseかTrueかで全統合層を含んでいるモデルか，含んでいないモデルをロードするのかを切り替えているようでした．

ここで，疑問が二つできたのでよろしければ教えていただきたいです．
①VGG16のように，そもそものモデルに全統合層を構築していないモデルを構築し，それを利用すれば良いのでしょうか．
②もしくは，呼び出したモデルから全統合層以外のみを利用するように実装できる方法があるのでしょうか．

お時間がある時で構わないので，よろしければ回答していただけると幸いです．

[toast-uz]

両方可能です。学習済ウエイトも用意することを考えると、②の方が簡便でしょう。
全結合層は、Sequentialでモデル本体に結合されているかと思います。これはLayerのリストとして表現されていますので、以下のようにすれば、最後の方の層を削除したモデルが生成できます。
new_model = tf.keras.models.Sequential(base_model.layers[:-1])

既存のモデルから転移学習やファイチューチングをする際、include_topといった便利なオプションが無い場合、上記のテクニックを使って全結合層を取り除きます。逆に、このテクニックを知っていれば、自作モデルにわざわざinclude_topオプションを作らなくても用が足りるかもしれません。

[kohei_0730]

なるほど．
とてもわかりやすく，助かります．

変にinclude_topオプションを制作するよりも，ご教授いただいたテクニックを利用する方が確実な方法と言えそうですね．

最後にこのテクニックについてなのですが，こちらは構築した既存のモデルであれば，どのようなモデルに対しても(CNN,NNなど)活用できるものでしょうか．
予想としては，VGG16自体がCNNだったと記憶しているので，CNNで構築してあるものには使えるのではと思っています．

最後まで，どうかよろしくお願いします．

[toast-uz]

全結合層をSequentialで接続していれば、どんなモデルでも（もちろんCNNでも）使えます。なお、Sequentialで接続していない場合でも、方法は異なりますが、何からの方法で同様に全結合層以外を取り出すことも、できる場合が多いです。学習モデルは、Pythonのリストや辞書の組み合わせで表現されますので。Sequentialで接続している=リスト構造である、というだけです。

[kohei_0730]

基本的にモデルのoutputとなっている部分を除いてモデルを取り出すことができれば良いという認識でしょうか．

[toast-uz]

はい。こちらで類似質問回答をしていますので、参考にしてください。Functional APIの記述を覚えると、モデルの再利用が容易になります。
https://teratail.com/questions/349871

[kohei_0730]

ありがとうございます！！
とても助かりました！！