pyautoGUIで、画面を認識して、画像の方向に従ったキーを押せるようにしたい

Question

前提・実現したいこと

以下の画像のように、画面内に出てくる矢印をもとに左から順に読み取って、これに対応するキーボードのキーを押せるようにしたいと考えています。

画像の例では、↑→↑←↓↑となっていますので、その通りに
キーを押したいと考えています。

発生している問題・エラーメッセージ

上記を実現しようとして、スクリプト直下にpictureフォルダを置き、
その中に上下左右に対応するpng画像を配置し、pyautoguiのlocateAllOnScreenでリスト取り出しした後、
x軸方向の値をもとにソートして、data列(取り出した矩形領域)とdirection列(上下左右の識別文字列）を持ったdataframeを作ったのですが、ここからx軸の値をもとにソートすることができないので、
左にあるものから順に並び替えができず困っております。
dataframeから取り出す良い方法があるか、それかもっとスマートに
やりたいことができる方法があれば、ご教示いただけましたら幸甚です。

該当のソースコード

check_picture_list = [
    Path("picture") / Path("up.png"),
    Path("picture") / Path("down.png"),
    Path("picture") / Path("left.png"),
    Path("picture") / Path("right.png"),
]
directions = ["up", "down", "left", "right"]

tmp_result_list = []
tmp_direction_list = []
sorted_list = []
result_list = []
direction_list = []
result_df = pd.DataFrame([], columns=["data", "direction"])
for pict, direction in zip(check_picture_list, directions):
    tmp_result_list = list(pyautogui.locateAllOnScreen(str(pict), confidence=0.98))
    tmp_direction_list = [direction]*len(tmp_result_list)
    tmp_df = pd.DataFrame(list(zip(tmp_result_list, tmp_direction_list)), columns = ['data', 'direction'])
    # tmp_df["direction"] = direction
    print(f"pict:{pict}, tmp_df:{tmp_df}")
    result_df = pd.concat([result_df, tmp_df])

試したこと

やりたいことをできるようにするため、pyautoGUIのリファレンスや関連URLを確認した。

補足情報（FW/ツールのバージョンなど）

python 3.9.6
pandas 1.3.0
PyAutoGUI 0.9.53

Comments

[H.K2]

上記質問について、まずは↑要素だけでも取りたいと思い、下記テストコードを書きました。
generatorなので、そのままでは取り出せないのでlistに変換して、locateAllOnScreenで
取り出されるgenerator各要素の、属性xだけのlistに変換し、xの値が近い要素を削除したいです。
（Xの値が近い(差が50未満）ものは、同じ画像を多重検知しているためです）

pict = Path("picture") / Path("up.png")
aaa = list(pyautogui.locateAllOnScreen(str(pict), confidence=conf))
for i in range(len(aaa)):
print(pyautogui.center(aaa[i]).x)

Answer 1

目的の内容は、下記コードで一部実現できました。
ただし、静止画像ではうまくいくのですが、実際のゲーム上はうまくいかないため、別の質問として提示させてください。

def get_sequence_direction(offset=50):
    # 画像から、上下左右の向きを順番に取得する。
    conf = 0.75
    check_picture_list = [
        Path("picture") / Path("maiou_up.png"),
        Path("picture") / Path("maiou_down.png"),
        Path("picture") / Path("maiou_left.png"),
        Path("picture") / Path("maiou_right.png"),
    ]
    directions = ["up", "down", "left", "right"]

    tmp_result_list = []
    tmp_direction_list = []
    sorted_list = []
    result_list = []
    direction_list = []
    result_df = pd.DataFrame([], columns=["x", "direction"])
    for pict, direction in zip(check_picture_list, directions):
        tmp_result_list = list(pyautogui.locateAllOnScreen(str(pict), confidence=conf))
        tmp_direction_list = [direction]*len(tmp_result_list)
        x_list = []
        y_list = []
        for pict_c in tmp_result_list:
            center = pyautogui.center(pict_c)
            x_list.append(center.x)
            y_list.append(center.y)

        df = pd.DataFrame(zip(x_list, y_list, tmp_direction_list), columns=["x", "y", "direction"])
        dfsort = df.sort_values(by="x")
        dfsort = dfsort[(dfsort.x - dfsort.shift().fillna(0).x) > offset].copy()
        result_df = pd.concat([dfsort, result_df])

    return result_df.sort_values(by="x")["direction"].tolist()


# メイン処理ループ部分
# COUNT_ENDの回数画像判定し、その通りクリックしたら抜ける。
up_center = pyautogui.locateCenterOnScreen(str(Path("picture") / Path("maiou_push_up.png")), confidence=0.7)
down_center =pyautogui.locateCenterOnScreen(str(Path("picture") / Path("maiou_push_down.png")), confidence=0.65)
left_center = pyautogui.locateCenterOnScreen(str(Path("picture") / Path("maiou_push_left.png")), confidence=0.75)
right_center = pyautogui.locateCenterOnScreen(str(Path("picture") / Path("maiou_push_right.png")), confidence=0.75)
print(f"up:{up_center}, down:{down_center}, left:{left_center}, right:{right_center}")
select_dir_dict ={
    "up": up_center,
    "down": down_center,
    "left": left_center,
    "right": right_center
}
count = 0
COUNT_END = 100
while(True):
    count = count + 1
    dir_list = get_sequence_direction(30)
    print(dir_list)
    for dir in dir_list:
        print(select_dir_dict[dir])
        pyautogui.moveTo(select_dir_dict[dir])
        time.sleep(0.05)
        pyautogui.click()
        time.sleep(0.05)

    time.sleep(0.2)

    if count > COUNT_END:
        break