YOLOv3 学習済モデルにクラスを追加したい

Question

前提・実現したいこと

DL初心者になります。
windows10 環境にてyolov3の実装を行っています。
一通り実装でき、自分で撮影した写真を学習させて検知させることまで出来ました。

学習済のモデルには「人・車・犬・・・」などのクラスがありますが
学習済モデルのクラスを残しつつ新たに学習させたクラスを追加することは可能でしょうか。
（人・車・犬・・・＋新クラスが検知できる学習器の作成）

自分で「人・車・犬・・・＋新クラス」 の写真を用意して学習させる。以外の方法でご教授頂けると幸いです。

お手柔らかにお願いします。

発生している問題・エラーメッセージ

該当のソースコード

試したこと

現状の方法（参考にしたサイトの方法）だとネットワークの全部の層の重みを更新するので
すでにあるクラスを残すことはできない。

転移学習を行えばすでにあるクラスを継承できそう？（方法は不明）

というところで行き詰っております。

詰まるところ、tensorflow（keras）での転移学習の方法について
知りたい。という質問になるのかもしれません。

見当違いな発言かもしれませんが何卒よろしくお願いします。

補足情報（FW/ツールのバージョンなど）

Anaconda / python 3.7
Tensorflow-gpu 1.14.0
keras 2.2.4

GitHub
https://github.com/qqwweee/keras-yolo3

参考にしたサイト
https://rightcode.co.jp/blog/information-technology/learn-yolov3-image-windows10-object-detection

Comments

[meg_]

すみません。何か勘違いしていたようなのでコメント削除させていただきます。

Answer 1

ニューラルネットワークで転移学習をするとき、変えないといけないのは大方一番最後の出口付近だけです。

が、YOLOの偉いところは、手順に沿って変えていけばプログラム的な変更なしに、設定ファイルの変更だけでそういう設定も自動でやってくれるところです。

自分で「人・車・犬・・・＋新クラス」 の写真を用意して学習させる。以外の方法でご教授頂けると幸いです。

学習元データをDLして、そこからいらないクラスを削除して、新しいクラスを自分で足して学習させるしかないと思います。ただ、クラス数も画像も膨大にあると学習も遅いはずです。ごついGPUを4枚くらい指してぶん回さないといけないと思います。クラスのインデックスが変わってしまうと思うので、「だったら転移学習でいいじゃん」が答えになりそうです。

上記で否定されていますが、その転移学習の方法は以下の通りです。

---

https://github.com/AlexeyAB/Yolo_mark/blob/master/README.md
の"o use for labeling your custom images:"以降がそのまま手順になります。

テキストと画像のフォーマットさえ合っていればいいので、「こんなフォーマットを既存のソフトでラベリングするのめんどくせー」という場合には、自前でOpenCVか何かで画像をガシガシ加工してラベル情報のテキストと一緒に吐き出すように実装してもYOLOはちゃんとうごきます。その場合はリファレンスを参照ください。

---

詰まるところ、tensorflow（keras）での転移学習の方法について
知りたい。という質問になるのかもしれません。

YOLOはDarknetというフレームワークで動いていますので、TFに移植するのは骨が折れる（上にバグも含まれるかもしれないし、途方もなく時間がかかる）のでやめた方がイイと思います。

Comments

[yoloyolo]

ご回答ありがとうございます。仰る通り自分で「人・車・犬・・・＋新クラス」 の写真を用意して転移学習させるしかないというか、それがベストですね。2クラスのみですが自前データでの転移学習は実施済ですので自分が欲しいクラス分だけ用意して転移学習してみたいと思います。やはり自前データでの学習ですとなかなか精度が出ないので既存のクラスを使えるのであれば使いたいというのが本音ですが、勉強になりました。