Pythonで最も早くトランプの画像から情報を引き出す方法について

Question

前置き

最近、自動化/機械学習を目的にPythonを始めたものです。

例えば、以下のようなトランプの画像があった場合に、最も早く「ハートであること」と「エースであること」がわかる方法はどういった方法になるでしょうか。

目的としては、ネット上のトランプゲームから学習を実施する・・といったことを目的としております。
（処理が終わるまでに盤面上のトランプが変わってしまい、どうしたものか、といった状態です）

#実施したこと

• opencvのテンプレートマッチングを用いてpyautogui.locateOnScreenを実施した。

コード

path = "画像パス"
p = pyautogui.locateOnScreen(path,grayscale=True,confidence=.95,region=(0,0, 300, 400))

→→これをトランプの種類分、つまり52回実施した。
(grayscaleをfalseにしても大きくは改善せず)

• 以下ページを参考にsimpleMatchを実施した。

https://oka.fanbox.cc/posts/538026
→→大きくは改善せず。

目標としては、0.5秒以内に柄と数字の二要素が取得できるロジックができると最高だな、と考えております。

何ぶん拙い文章で恐縮ではございますが、よろしくお願いします。

こういった場での質問にも慣れておりませんので、質問の仕方の指摘もいただけると大変ありがたいと思っております。

開発環境

MacBook Pro (13-inch, 2019, Four Thunderbolt 3 ports)
2.4 GHz クアッドコアIntel Core i5
8 GB 2133 MHz LPDDR3
Intel Iris Plus Graphics 655 1536 MB

Comments

[meg_]

> 目標としては、0.5秒以内に柄と数字の二要素が取得できるロジックができると最高だな
現在は何秒かかるのでしょうか？

[garubor01]

現在はおよそ0.8秒×52ですので、おおよそ40秒ほどかかっております。

[tiitoi]

テンプレートマッチングでいいと思いますが、そのゲームでウィンドウの位置とかでマッチングを行う範囲を限定すれば高速化できると思います。

[garubor01]

ありがとうございます！
早速試してみてその後追記いたします。

[fana]

少なくとも最初に色味くらい見て「赤or黒」の判断をすればそれだけで候補が半分になるよね．

対象が特定のトランプ限定な話ならモーメントなり何なりの特徴で対象を絞り込めそうに思う．

[8524ba23]

> (処理が終わるまでに盤面上のトランプが変わってしまい、どうしたものか、といった状態です）
そもそもなのですが…推論(predict)ではなく学習(fit)が目的であれば、ゲーム中は録画しておいて、あとでゆっくり処理すればよいかと思いますが、いかがでしょうか。

[garubor01]

tiitoi様、御助言ありがとうございました。
そもそもとして、
```
pyautogui.locateOnScreen
```
がこういった解析系の処理には不適切である、ということを失念しておりました。
おっしゃっていただいたようにopencvにテンプレートマッチング（以下ソース）を範囲を絞って適用したところ、1秒とかからずに判定することができました。
```
res = cv2.matchTemplate(
```
この度は本当にありがとうございました。

fana様、コメントありがとうございます。
> 少なくとも最初に色味くらい見て「赤or黒」の判断をすればそれだけで候補が半分になるよね．
対象が特定のトランプ限定な話ならモーメントなり何なりの特徴で対象を絞り込めそうに思う．
おっしゃる通りでして、かつそのゲームにて４マークそれぞれを色分けすることができました。
おかげでテンプレートマッチングにおける誤判定率が大幅に下がりました。
（特にクラブとダイヤ）

can110様、ご助言ありがとうございます。
> そもそもなのですが…推論(predict)ではなく学習(fit)が目的であれば、ゲーム中は録画しておいて、あとでゆっくり処理すればよいかと思いますが、いかがでしょうか。
そうですね、今回の主旨とは異なるのですが、最終的にはゲーム内でリアルタイムで何を指すのが最適か？　というのがプレイヤーにもわかるといいな、と思い、すぐに結果がわかればいいな、と思いこのような質問をいたしました。
今後、もう少し言葉を付け足すよう気をつけます。

Answer 1

そもそもとして、

pyautogui.locateOnScreen

がこういった解析系の処理には不適切である、ということを失念しておりました。
おっしゃっていただいたようにopencvにテンプレートマッチング（以下ソース）を範囲を絞って適用したところ、1秒とかからずに判定することができました。

res = cv2.matchTemplate(
→これを52枚のトランプ画像と照らし合わせる。（範囲も絞る）

みなさま、ありがとうございました。