【jQueryで神経衰弱を作成したい】1枚目と2枚目を比較しているときは、3枚目をクリックできないようにしたいです。

前提・実現したいこと

jQueryで神経衰弱を作成したいです。
内容はこういったことです。

①: 16枚のリストの中から "?" と書かれたものをひとつクリックする
②: その要素に書かれている "?" が "6" などの数字に変わる
③: もうひとつ"?"と書かれたものをクリックする
④: その要素に書かれている "?" が "6" などの数字に変わる
⑤: ②と④で表示された数字が一致している場合は、開いた数字はそのままで①に戻る。一致していない場合は1秒後に数字が "?" に戻り①にもどる。
⑥: 全ての要素が開かれたときにアラートで "Game Over"

発生している問題・エラーメッセージ

2枚目のカードを開いた後に3枚目のカードをクリックするとカードが開いてしまいます。
1枚目と2枚目を比較しているときは、3枚目をクリックできないようにしたいです。

該当のソースコード

HTML 
<body>
  <ul class="lists clearfix"></ul>
</body>

CSS
.lists {
    border: 10px #CCC solid;
}
.lists > li {
    float: left;
    width: 25%;
    background-color: #EEE;
    border-top: 2px #CCC solid;
    border-right: 2px #CCC solid;
    font-size: 20px;
    font-weight: bold;
    line-height: 75px;
    text-align: center;
    cursor: pointer;
    -webkit-box-sizing: border-box;
    box-sizing: border-box;
}
.lists > li:nth-child(-n + 4) {
    border-top: none;
}
.lists > li:nth-child(4n) {
    border-right: none;
}

jQuery
<script>
 $(function () {

      var $lists = $(".lists"),
        totalCard = 16,  // 合計枚数
        arrayCards = [], // カードの数値を格納
        firstCard = "",  // 1枚目のカード
        secondCard = "", // 2枚目のカード
        isFirst = true;  // 1枚目か判定

      // カードの中身を作成
      for (var i = 1; i <= totalCard / 2; i++) {
        arrayCards.push(i, i);
      }

      arrayCards
        // ランダムに並び替える
        .sort(function () {
          return Math.random() - Math.random();
        })
        // li要素を作成
        .map(function (number) {
          return "<li class='close' data-number='" + number + "'>?</li>";
        })
        // ulにli要素を追加
        .forEach(function (element) {
          $lists.append(element);
        });

      // クリックしたときの処理
      $lists.find("li").on("click", function () {

        // カードを開ける
        var openCard = $(this).css("pointer-events", "none").text($(this).data("number"));

        setTimeout(function () {
          // 1枚目の場合
          if (isFirst) {
            firstCard = openCard;
            isFirst = false;

            // 2枚目の場合
          } else {
            secondCard = openCard;

            // 1枚目と2枚目が同じ場合
            if (firstCard.data("number") == secondCard.data("number")) {
              $(firstCard).removeClass("close");
              $(secondCard).removeClass("close");

              // 全部のカードが揃ったら
              if ($(".close").length == 0) {
                alert("Game Over");
              }

              // 1枚目と2枚目が違う場合
            } else {
              $(firstCard).css("pointer-events", "").text("?");
              $(secondCard).css("pointer-events", "").text("?");
            }
            isFirst = true;
          }
        }, 1000);
      });
    });
  </script>