物体検出における分類方法について

matlab で物体検出をしている者です。

現在、多クラス検出を行おうと様々な検出器を学習させています。
目標としては、数少ないデータ(1クラス600枚程度)で20種類以上のクラスを80〜90％以上の精度で検出したいと思っています。
現在、Yolo v3で平均70%まで精度がでました。

そこで、さらなる向上を目指す上で、学習データはそのままで、ネットワークを改善して向上させたいと思っています。

自分のアイディアとして、全結合層を並列に並べて、同じような特徴のもの同士(例えば、数種類の野菜、数種類の果物、数種類の犬、などそれぞれに適した特徴をもつ全結合層)で検出できれば、もっと精度が正確になると思うのですが、実装する技術がなくできていません。
シンプルに言えば、複数の分類器を並べて検出させたいと思っています。

そもそもこのようなアイディアは、通用するでしょうか？？
何かアドバイスやご意見を頂けますと、幸いです。
宜しくお願いいたします。