Google Vision API 等画像認識APIの精度を上げる方法

Question

現在Google Vision APIを使用した、画像認識アプリを作成しています。
unity5を使用し、内容としてはカメラで取った画像をGoogle Vision APIに送り、返答されたJSONをtextで表示するアプリケーションになります。
しかし、現状認識率は高くなくマウスを写すと「computer」と返答されたりします。
この認識精度を上げるため何かいい案がありましたら、ご教授いただければ幸いです。

Answer 1

ちょうど最近Google Vision APIを使っている者です。

対象物のラベル検出(LABEL_DETECTION)の精度が低い、ということですよね。
ラベル検出自体は、当然Googleさんが担当しているので、下処理をどう頑張るかですね。
パッと思いつくのはこのあたりです。

• 画像サイズの調整(Google Cloud Vision API ベスト プラクティス)
• 画像の輝度調整(画像全体の輝度の分布をもとに正規化 / 画像全体が暗いor明るい場合のみ有効)

もし、画像中央の単一物体を判定できれば良い && 対象物周辺に写るものが検出を困難にしていそうなら、
自分なら、他にはこのあたりを試してみます。

• 撮影目安となる範囲(例えば300px四方のグリッド)を表示して、撮影後その範囲外の領域を単色で塗りつぶす。
• 画像中の輪郭線を検出する手法(Cannyエッジ検出等)を駆使して、

投稿画像中の周辺領域の不要そうな部分を塗りつぶす。(これは名刺管理アプリでの周辺除去で使われています)

• なるべく正面と呼べる(回転していない)向きで対象が写っている画像を投稿して、結果に影響があるかを見てみる。

(結果として、影響していそうだった場合のアプローチはしにくいかもしれませんが）

• ラベル検出はテキスト検出と異なり色に意味がありそうなので、マイナスに働くかもしれませんが、グレースケールに変換した画像を投稿して、結果に影響があるかを見てみる。

ふと思ったのですが、コンピュータを学習させる時の画像にマウスが写り込んでいる可能性は多少ありそうなので、
特にその判定については誤差が大きいかもしれませんね。
多少なりともお役に立てば幸いです。

Comments

[kaErita_E]

ご丁寧にありがとうございます、コメント遅れまして申しわけございません。
画像の抜き取りなど行ってみましたが少し良くなったかな？くらいでした…。
グレースケールはまだ試せていないので、続けて試してみようと思います。