unityでbuttonを使って隣り合うbuttonの色変えをしたい

現状できていること

現在buttonを使った処理の練習をしています。現在ButtonにC#を用いた下記のButtonchangerスクリプトをアタッチしておりButtonを押すごとに押したButton自身の色を水色（初期の色）→緑→黄色→オレンジ→赤というように変更するところまではできています。

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.UI;

public class Buttonchanger : MonoBehaviour
{
    public int count=0;
    //ここでカラーを設定
    [SerializeField]
    Color btnColor1 = Color.cyan;
    [SerializeField]
    Color btnColor2 = Color.green;

    [SerializeField]
    Color btnColor3 = Color.yellow;

    //inspector上で指定するのでwhiteに仮置き
    [SerializeField]
    Color btnColor4 = Color.white;

    [SerializeField]
    Color btnColor5 = Color.red;


    //ボタンをキャッシュする変数
    Button btn;


    void Awake()
    {
        //何度もアクセスするのでこの変数にキャッシュ
        btn = gameObject.GetComponent<Button>();
        btn.image.color = btnColor1;
    }

    void Start()
    {
        btn.onClick.AddListener(OnClick);
    }

    public void OnClick()
    {
        count+=1;
        if (count == 1)
        {//greenに変更
            btn.image.color = btnColor2;
            Debug.Log("押されて緑になりました");
        }


        if (count == 2)
        {//黄色に変更
            btn.image.color = btnColor3;
            Debug.Log("押されて黄色になりました");

        }

        if (count == 3)
        {//オレンジに変更
            btn.image.color = btnColor4;
            Debug.Log("押されてオレンジになりました");
        }

        if (count == 4)
        {//赤に変更
            btn.image.color = btnColor5;
            Debug.Log("押されて赤になりました");


        }
    }



}

実現したいこと

このButtonを複数個用意して塗り替えパズルのようなものを作りたいと思っています。
このButtonを6×6マス配置して、適当なButtonを一回押したときは押したButtonだけcountを+1して色が緑に、同じButtonをもう一度押して緑から黄色にするとき、今度はそのButtonだけじゃなく両隣のButtonのcountを+1して自身は黄色に両隣は緑に、さらに黄色の時にもう一度おしたときは左右に加えて上下のButtonのcountを+1して色を変え、自身はオレンジに、オレンジの時にButtonを押したときは上下左右にくわえて斜め方向、つまり押すボタンの周りすべての色を一段階変える。といった処理をしたいと思っています。とても分かりにくい説明になってしまい申し訳ないのですが実現のための解決法やアドバイスを簡単な解説も踏まえて教えていただけたらありがたいです。