生成されたプレハブオブジェクトを削除したいです

実現したいこと

unityで２Dのゲームを制作しています。
マップが表示されたら岩のプレハブを生成して、
マップが非表示になったら、岩を削除したいです。

発生している問題・分からないこと

マップが表示されたら岩を生成して表示するところまでは出来たのですが、
マップが非表示になっても、岩が削除されません。
どこが間違っているのか教えて頂けたら幸いです。

該当のソースコード

using UnityEngine;

public class RockSupoController : MonoBehaviour
{
    // Prefab references
    public GameObject rockPrefab;
    public GameObject crystalRockPrefab;

    // 岩生成フラグ (無限ループを防ぐために利用)
    private bool hasSpawned = false;
    private GameObject spawnedRock; // 生成された岩の参照

    void Update()
    {
        // タグがRockSupoのオブジェクトが表示された場合
        if (gameObject.activeInHierarchy && !hasSpawned)
        {
            // 30%の確率で岩を生成
            if (Random.value <= 0.3f)
            {
                HandleRockSpawn();  // 岩生成処理を呼び出す
            }
            hasSpawned = true; // 1度だけ生成するようにする
        }
        // RockSupoが非表示になったら生成した岩を削除し、フラグをリセット
        else if (!gameObject.activeInHierarchy && hasSpawned)
        {
            // 生成された岩が存在する場合に削除
            if (spawnedRock != null)
            {
                Debug.Log("生成された岩を削除します。"); // 削除ログ
                Destroy(spawnedRock);  // 生成された岩を削除
                spawnedRock = null; // 参照をクリア
            }
            hasSpawned = false;
        }
    }

    // 岩生成処理
    void HandleRockSpawn()
    {
        // ランダムな値を取得して生成する岩の種類を決定
        float randomValue = Random.value;

        // 90%の確率でRock生成
        if (randomValue <= 0.9f)
        {
            spawnedRock = Instantiate(rockPrefab, transform.position, Quaternion.identity);
            Debug.Log("Rockを生成しました。");
        }
        // 10%の確率でCrystalRock生成
        else
        {
            spawnedRock = Instantiate(crystalRockPrefab, transform.position, Quaternion.identity);
            Debug.Log("CrystalRockを生成しました。");
        }

        // 生成された岩をアクティブ化して表示
        if (spawnedRock != null)
        {
            spawnedRock.SetActive(true);
        }

        Debug.Log("岩生成処理が完了しました。");
    }
}