Unity)同じ画像ボタンを消す

同じ画像のボタンを押したら消すアプリを作っています。

ボタンを20個配置して画像を表示します。
ボタンの属性（画像＆ID)が同じ時にボタンを消すアプリを
作っているのですが分からない部分があるので教えて下さい。

やりたいこと）
１、画像のボタンを1つ押します。
２、同じ画像（同じID)のボタンを押す。
３、１と２の画像が消える。

やってみたこと）
１、空のGameObject（TestListScriptObject）を作りTestListScript csをアタッチ。
２、TestListScript csでListを作成して配置するルールを設定しました。

ルール：16個の数値をシャッフルしたBaseListを作成。
この16個の中から10個の数値を選び、
それをTestListに2回入れてシャッフルする。
トータル20個のTestListの中身をボタンに反映させる。

３、20個のButtonObject(01～20)を作りそれぞれにTestInit csをアタッチ。
（画像の表示はこれで問題なくできました）
４、TestIdを各ButtonObjectで設定しました。

ボタンを押す挙動は下記の通り）
１、MarkFlagを作って
２、MarkFlagが0の時、MarkFlagにTestList[TestId]を入れる（1回目）
３、MarkFlagが0でない時（2回目の１）、
且つMarkFlagがTestList[TestId]と同じ時　★★をする。
４、MarkFlagが0でない時（2回目の２）、
且つMarkFlagがTestList[TestId]と同じでない時、失敗処理。

質問は２つあります。
1つ目）
★★の処理ですが後で押したボタンの方は単純にSetActive(false)で消すことが
できるのですが1回目に押したボタンオブジェクトを消す方法
（SetActiveでの参照方法）が分かりません。どうすればできますか？
2つ目）
1回目に押したボタンをもう一度押した時同じTestIdと判断してしまいます。
これを対処する方法を教えて下さい。
お手数ですが上記２つ分かる方ヒントでも結構ですので教えて下さい。

環境）
PC: mac
Unity2018.2
言語：C#

TestListScript.cs

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using System.Linq;
using System;
using UnityEngine.UI;

public class TestListScript : MonoBehaviour
{
    private List<int> BaseList;
    private List<int> TestList;

    // Start is called before the first frame update
    void Start()
    {
        //Listの生成
    	BaseList = new List<int>(){};
        TestList = new List<int>(){};

        //BaseListに1-16までの数を流し込む
        for(int i = 1; i < 17; i++)
        {
            BaseList.Add(i);
        }
        //BaseListをシャッフルする
        RandomActive5();

        //TestListにBaseListから10個を選んで2つずつ流し込む
        for(int j = 0; j < 10; j++)
        {
            TestList.Add(BaseList[j]);
            TestList.Add(BaseList[j]);
        }
        //TestListをシャッフルする
        RandomActive6();
        
        //できたTestListをPlayerPrefsで保存する
        PlayerPrefsUtility.SaveList<int>("Testlist", TestList);
    }

    //BaseListをシャッフルするスクリプト
    void RandomActive5()
    {
        BaseList = BaseList.OrderBy(a => Guid.NewGuid()).ToList();
    }
    //TestListをシャッフルするスクリプト
    void RandomActive6()
    {
        TestList = TestList.OrderBy(a => Guid.NewGuid()).ToList();
    }
}

TestInit.cs

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using System.Linq;
using System;
using UnityEngine.UI;

public class TestInit : MonoBehaviour
{
     #pragma warning disable 649
    [SerializeField] int TestId; //objectにinputするId
    [SerializeField]AudioClip pinpon;
    [SerializeField]AudioClip booboo;

    AudioSource seSource;

    private List<int> TestList; //TestListを取得するための器

    private int TestListId; //TestListからobjectにセットする管理Id
    private string imagePath;

    // Start is called before the first frame update
    void Start()
    {
    	TestList = PlayerPrefsUtility.LoadList<int>("Testlist"); //TestListをPlayerPrefsで取得

        TestListId = TestList[TestId - 1]; //Test管理Idの取得
        Debug.Log("Testlistid" + TestListId);

        seSource = gameObject.GetComponent<AudioSource>();

        //Test管理IdからImageを表示
        switch(TestListId)
        {
            case 1:
            imagePath = "Images/testpachi11";
            break;
            case 2:
            imagePath = "Images/testpachi12";
            break;
            case 3:
            imagePath = "Images/testpachi13";
            break;
            case 4:
            imagePath = "Images/testpachi14";
            break;
            case 5:
            imagePath = "Images/testpachi21";
            break;
            case 6:
            imagePath = "Images/testpachi22";
            break;
            case 7:
            imagePath = "Images/testpachi23";
            break;
            case 8:
            imagePath = "Images/testpachi24";
            break;
            case 9:
            imagePath = "Images/testpachi31";
            break;
            case 10:
            imagePath = "Images/testpachi32";
            break;
            case 11:
            imagePath = "Images/testpachi33";
            break;
            case 12:
            imagePath = "Images/testpachi34";
            break;
            case 13:
            imagePath = "Images/testpachi41";
            break;
            case 14:
            imagePath = "Images/testpachi42";
            break;
            case 15:
            imagePath = "Images/testpachi43";
            break;
            case 16:
            imagePath = "Images/testpachi44";
            break;
            default:
            imagePath = "Images/testpachi11";
            break;
        }
    	this.GetComponent<Image>().sprite = Resources.Load<Sprite>(imagePath); 
    }
    public void PushTestAction()
    {
        int MarkFlag = PlayerPrefs.GetInt("markflag", 0);
        if(MarkFlag == 0)
        {
            MarkFlag = TestListId;
            PlayerPrefs.SetInt("markflag", MarkFlag);
        }else{
            if(MarkFlag == TestListId)
            {
                Debug.Log("correct");
                seSource.PlayOneShot(pinpon);
            }else{
                Debug.Log("false");
                seSource.PlayOneShot(booboo);
            }
        }
    }  
}