指定した座標値の色を判別してマウスクリック

初心者です、手探りでRPAを作成しようと試みています。
pyautoguiでlocateCenterOnScreen用い画像認識を行いましたがうまく認識できませんでした。
OpenCVをインストールしていると画像のファイルパスを指定する時、日本語表記ではパス名が通らないのはわかりました。
confidenceで調整しても不安定でした。
別の画像で検証を行い正常に動作するのは確認しました

原因は画像認識の対象が画面上の３つのボタンであり見た目は一緒であること
識別するのはボタン中央に記載された、小さな数字三桁であること、だからだと思います。

そこで考えたのは色です。このボタンは通常時が青、動作時に赤、文字ではなくボタンの色が変化します。
ボタンが赤く変化したときにそのボタンをクリックしたいのです。

三つのボタンの色が変化する部分の座標値（または座標値から○○の範囲内）がサンプルで取った色のPNG画像と合致
したらその座標値の場所をクリック、という動作は可能でしょうか？

ヒントもしくは別のアイデアがありましたら教えていただけると幸いです。
宜しくお願いいたします。