Unityで脱出ゲーム制作、壁を切り替えられません

前提・実現したいこと

初めまして。「UnityではじめるC#」という入門書を片手に勉強している超初心者です。目標は2Ｄ脱出ゲームを作る事です。「壁を切り替え可能にする」というところで切り替えボタンを押すと背景が変わるという所でひっかかっています。

発生している問題・エラーメッセージ

スクリプトエラーは出ていませんが、これで制作しても壁の矢印を押しても画面が変わりません。

該当のソースコード

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.UI;

public class GameManager : MonoBehaviour
{

//定数定義：壁方向
public const int WALL_FRONT = 1; //前
public const int WALL_RIGHT = 2; //右
public const int WALL_BACK = 3; //後
public const int WALL_LEFT = 4; //左

public GameObject panelWalls; //壁全体

private int wallNo;  //現在の向いている方向

// Use this for initialization
void Start()
{
    wallNo = WALL_FRONT;  //スタート時点では前を向く

}

// Update is called once per frame
void Update()
{

}

//右(>)ボタンを押した
public void PushButtonRight(){
    wallNo++; // 方向を1つ右に

    // 「左」の1つ右は「前」
    if (wallNo > WALL_LEFT)
    {
        wallNo = WALL_FRONT;
    }
    DisplayWall(); //壁画面表示
}

//左(<)ボタンを押した
public void PushButtonLeft()
{
    wallNo++; // 方向を1つ左に
    // 「前」の1つ左は「左」
    if (wallNo < WALL_FRONT)
    {
        wallNo = WALL_LEFT;
    }
    DisplayWall(); //壁画面表示
}


//向いている方向の壁を表示


void DisplayWall()
{
    switch (wallNo)
    {
        case WALL_FRONT:
            panelWalls.transform.localPosition = new Vector3(0.0f, 0.0f, 0.0f);
            break;
        case WALL_RIGHT:
            panelWalls.transform.localPosition = new Vector3(-1000.0f, 0.0f, 0.0f);
            break;
        case WALL_BACK:
            panelWalls.transform.localPosition = new Vector3(-2000.0f, 0.0f, 0.0f);
            break;
        case WALL_LEFT:
            panelWalls.transform.localPosition = new Vector3(-3000.0f, 0.0f, 0.0f);
            break;
    }
}