python3 OpenCV 特定の画像を検出

Question

スクリーンショットなどから、
linux mint18のOnboardを画像検出で正確に使用したい。

#Onboard

スクリーンショットなどから、画像検出を行い。ボタンを区別したいのですが、
素材となる画像を検出する所で躓きました。

各枠ごとにいい感じになる様になる用　検出したいのですが上手く行きません。
色々試してるのですが、何か良い方法は無いでしょうか？

ダメなコード

import cv2
import numpy as np
 
img = cv2.imread('on.png')
 
edges = cv2.Canny(img,1920,1080)

"""
# グレースケール変換
gray = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY)

# 線形濃度変換
gamma = 2.0
    
# 画素値の最大値
imax = gray.max() 
    
# ガンマ補正
gray = imax * (gray / imax)**(1/gamma)

# 結果の出力
cv2.imwrite("output.jpg", gray)


"""
cv2.imshow('edges',edges)
cv2.waitKey(0)
cv2.destroyAllWindows()

#追記
テンプレートマッチグと言うモノを試してみたのですが、検出されませんでした。
ディスプレイの明るさやOnboardの透明度など触ってますが、この状態で検出できればと思います。

import cv2
import numpy as np
from matplotlib import pyplot as plt

img_rgb = cv2.imread('sh.png')
img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)
template = cv2.imread('on.png',0)
w, h = template.shape[::-1]

res = cv2.matchTemplate(img_gray,template,cv2.TM_CCOEFF_NORMED)
threshold = 0.8
loc = np.where( res >= threshold)
for pt in zip(*loc[::-1]):
	cv2.rectangle(img_rgb, pt, (pt[0] + w, pt[1] + h), (0,0,255), 2)

cv2.imwrite('res.png',img_rgb)

Comments

[tiitoi]

画像処理で検出する必要はあるのでしょうか。
ソフトキーボードなら位置は固定だと思うので、予めどのキーはどの位置にあるという情報を与えておいて、切り出せばいいのではないでしょうか。

[SpecialTukimiya]

検討してみます。

Answer 1

使うサイズのスクショを取って一致する部分を探しました。

#coding:utf-8
import cv2

#画像をグレースケールで読み込む
img = cv2.imread("img.png", 0)
temp = cv2.imread("temp.png", 0)

#マッチングテンプレートを実行
#比較方法はcv2.TM_CCOEFF_NORMEDを選択
result = cv2.matchTemplate(img, temp, cv2.TM_CCOEFF_NORMED)

#検出結果から検出領域の位置を取得
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
top_left = max_loc
w, h = temp.shape[::-1]
bottom_right = (top_left[0] + w, top_left[1] + h)

#検出領域を四角で囲んで保存
result = cv2.imread("img.png")
cv2.rectangle(result,top_left, bottom_right, (255, 0, 0), 2)
cv2.imwrite("result11.png", result)

#追記
皆さんが使う事は無いと思いますが左上からの0,0　相対座標を載せて起きます。

720x310 Onboardのsize
,,画面内　相対位置　座標

"""
import pandas as pd
# csv headerなし 縦列の1,2,3行目　かつ 横列の3行目から取得
df = pd.read_csv('memo.csv',header=None, usecols=[0,1,2],skiprows=2)
l=df.values.tolist()

# 確認
from pprint import pprint
pprint(l)


r=[]

# 座標をintに変換 コメントをstrに変換
for i in l:
	r.append([int(i[0]),int(i[1]),str(i[2])])

#確認
pprint(r)


"""



l=[[25, 50, 'Esc'],
 [80, 50, 'F1'],
 [115, 50, 'F2'],
 [150, 50, 'F3'],
 [190, 50, 'F4'],
 [245, 50, 'F5'],
 [285, 50, 'F6'],
 [325, 50, 'F7'],
 [360, 50, 'F8'],
 [415, 50, 'F9'],
 [450, 50, 'F10'],
 [490, 50, 'F11'],
 [525, 50, 'F12'],
 [580, 50, 'PrintScreen'],
 [615, 50, 'Scroll'],
 [655, 50, 'Pause'],
 [700, 50, 'closs'],
 [25, 100, 'ze'],
 [60, 100, '1'],
 [100, 100, '2'],
 [135, 100, '3'],
 [170, 100, '4'],
 [210, 100, '5'],
 [245, 100, '6'],
 [285, 100, '7'],
 [320, 100, '8'],
 [355, 100, '9'],
 [390, 100, '0'],
 [430, 100, '-'],
 [465, 100, '^'],
 [520, 100, 'BackSpace'],
 [580, 100, 'Ins'],
 [615, 100, 'Home'],
 [650, 100, 'PgUp'],
 [700, 100, '-----'],
 [35, 145, '-----'],
 [80, 145, 'q'],
 [120, 145, 'w'],
 [155, 145, 'e'],
 [190, 145, 'r'],
 [230, 145, 't'],
 [265, 145, 'y'],
 [305, 145, 'u'],
 [340, 145, 'i'],
 [373, 145, 'o'],
 [415, 145, 'p'],
 [450, 145, '@'],
 [485, 145, '['],
 [530, 160, 'Ente'],
 [580, 145, 'Del'],
 [615, 145, 'End'],
 [655, 145, 'PgDn'],
 [700, 170, 'Abc'],
 [40, 190, '__'],
 [90, 190, 'a'],
 [125, 190, 's'],
 [165, 190, 'd'],
 [205, 190, 'f'],
 [235, 190, 'g'],
 [275, 190, 'h'],
 [310, 190, 'j'],
 [350, 190, 'k'],
 [385, 190, 'l'],
 [420, 190, ';'],
 [460, 190, ':'],
 [495, 190, ']'],
 [25, 235, 'Shift'],
 [75, 235, '<'],
 [115, 235, 'z'],
 [150, 235, 'x'],
 [185, 235, 'c'],
 [220, 235, 'v'],
 [255, 235, 'b'],
 [295, 235, 'n'],
 [330, 235, 'm'],
 [370, 235, ','],
 [410, 235, '.'],
 [445, 235, '/'],
 [500, 240, 'Shift'],
 [620, 235, '↑'],
 [580, 285, '←'],
 [615, 285, '↓'],
 [655, 285, '→'],
 [700, 270, '123'],
 [25, 285, 'Ctrl'],
 [85, 285, 'Super'],
 [135, 285, 'Alt'],
 [255, 285, 'sp'],
 [405, 285, 'Alt Cr'],
 [440, 285, 'Super'],
 [485, 285, 'Menu'],
 [530, 285, 'Ctrl']]

Answer 2

ソフトキーボードのキーじゃないところは真っ黒なのでそこを真っ白に変える処理を入れたあとに2値化させるといい感じにキーが四角く取れそうですね。