keras 画像分類 物体検出

Question

kerasにて画像分類のモデルの作成をしました。
このモデルとkerasの物体検出モデルを作成し、結合させたいのですが可能でしょうか？

既に画像分類モデルが完成しているため、このモデルを生かして新たに作成する検出モデルにも
分類精度を生かしたいと思っています。

イメージとしては

sample001.jpg →　物体検出モデル　→　学習済みの分類モデル　→　検出した上で枠で囲って分類

といった感じです。

Vott,Object detection APIなども試したのですが、精度が低いので、画像分類モデルと物体検出モデルのの結合モデルによる精度を確かめたくてそれが可能かどうか試したいと思っています。

何か参考になるページやgithubがあればご教授お願いいたします。

Answer 1

以下にOpenCVを使った簡単な例を示しておきます。
コメントがついているところは各々自分のモデルに合うように変えて頂ればよいと思います。

基本的にはOpenCVでBoudingBoxの描画や切り抜きを行うのが簡単です。
OpenCV詳細な使い方は公式サイトのチュートリアルに書いてあります。

"""
model: kerasの分類モデル
detector: 物体検出モデル
"""

import cv2
import numpy as np

(_, W, H, C) = model.input_shape

image = cv2.imread('sample001.jpg')
boxes = detector.detect(image) # detectメソッドで画像中のBoundingBoxのリストを返すと想定

for (x, y, w, h) in boxes: # 各BoundingBoxが(x座標,y座標,幅,高さ)になっていると想定
    box = image[y:y+h, x:x+w] # 画像からBoundingBoxを切り抜き
    box = cv2.resize(box, (W, H)) # BoundingBoxをmodelに入力できるようリサイズ
    box = np.expand_dims(box, axis=0)
    predict = model.predict(box)[0] 
    pred_class = np.argmax(predict) # 予測結果 
    text = 'class={}'.format(pred_class))
    cv2.rectangle(image, (x, y), (x+w, y+h), (255,0,0), thickness = 2) # BondingBoxを描画
    cv2.putText(image, text,(x,y), font, 1,(0,255,0),1,cv2.LINE_AA) # 分類結果を描画

cv2.imshow('sample001', image)

Comments

[22Go]

ありがとうございます。参考にして作成してみます！