少量のデータを複数回に分けて学習させたいと考えています

Question

前提・実現したいこと

どのアルゴリズムでも最初に膨大なデータを用意することは理解できたのですが、
自作したモデルに少量のデータを複数回分けて学習させることは可能でしょうか？

イメージとしては、教師なし学習のCNNに画像を追加して
認識させられるものを随時追加できるようにしたいと考えています。

試したこと

ファインチューニングや転移学習を調べられる限り調べましたが、
実現したいことに対して意味合いが違うと感じました。

例えばファインチューニングや転移学習を使用してVGGのモデルの結合層を学習させる場合、
出力層は自分で用意したラベルの数に依存すると考えられるので
上記の問題を解決できないと判断しました。

抽象的な質問で申し訳ありませんが、回答のほどよろしくお願い致します。

補足情報（FW/ツールのバージョンなど）

使用言語はpythonでフレームワークはkerasを使用しています。

Answer 1

認識させられるものを随時追加できるようにしたい

出力層まわりの構成を変えながら転移学習orファインチューニングでいいでしょう。

実装は多少面倒臭いかもしれません。でもまあ、できます。

Answer 2

とんかつを認識するモデルを構築した後に唐揚げのデータを構築したモデルに追加して唐揚げも認識できるようにしたいと考えています

転移学習ですが、豚カツも唐揚げも、両方のデータを使います。
CNNで分類を行う際、CNNの層で特徴を抽出し、全結合層で分類します。CNNは学習を停止して、全結合層だけ学習します。
アッチとコッチに振り分ける、アッチ側は固定・・・というのができればいいのですが、ねぇ。
CNNだけで分類もできるなら、この限りではありませんが、私は知りません。
ただ、ごく最近、少ないデータで（水増しではない）精度よく分類するという論文が出ています。まだ読めていないのですが。 すみません、「少ないデータで」ではなかったので、この行は取り消します。

Answer 3

少ないデータでも始められるますが、学習するデータが少なければ精度が低くて使い物にならないことを認識しておいた方が良いです。とんかつだと認識できるようになるためには何千枚ものとんかつの画像が必要だそうです。

大量のデータを扱うので、ハードウェアにもお金をかけないと無駄な待ち時間が開発意欲を削ぎます。

Comments

[ron4256]

回答ありがとうございます。

仰る通りで、開発環境を整えることで扱うデータを増やして学習速度や認識精度を向上させることができるのはもちろん認識しております。そして、実際構築してみて開発意欲も若干削られた部分もあります。

自分の考えとして、追加学習が可能になれば、低スペックpcでもどんどん開発が可能にでき、開発意欲も削ぎにくくなると考えています。そして、機械学習のハードルが下がり、気軽に誰でも機械学習を触れられるようになると考えています。
そのために、少量のデータを複数回に分けて追加学習できる方法を探しております。

[Orlofsky]

低スペックと少量データでやってみては？
時間の無駄だろうけど。

[ron4256]

すでにそれは実践してまして、画像の水増しを利用することで少量データでの認識の実現はしています。
先程の例ですと、とんかつを認識するモデルを構築した後に唐揚げのデータを構築したモデルに追加して唐揚げも認識できるようにしたいと考えています。

Answer 4

回答してくださった方々、ありがとうござました。

画像認識をさせるには転移学習やファインチューニングを使用すればある程度データを集め、水増しをすることで学習できることが分かりました。

追加学習に関しては、ディープラーニングとは趣向が違うSOINNを使用すれば可能であり、応用の幅が大きいと考えられます。
ただ、自分の用意したデータをうまく使用できず、扱うのは後回しになりますが。。。

また、別の件で質問させて頂きます。ありがとうございました。