modalのブラウザバックについて

お世話になります。
複数のモーダルを使っているページを作成中です
モーダルを開いた状態でブラウザバックするとモーダルが出てきてしまうのですが
ブラウザバックしてもモーダルが反映されないようにするにはどうしたら良いのでしょうか？

お分かりになる方いらっしゃいましたら教えていただきたいです。
よろしくお願いします。

html
1<section>
2  <a href="#modal_01" class="btn">Modal 01</a>
3  <div class="remodal" data-remodal-id="modal_01">
4    <div><img src="https://125naroom.com/demo/img/itukanokotonokoto01.jpg" alt="125naroom"></div>
5    <button data-remodal-action="cancel" class="remodal-cancel">閉じる</button>
6  </div>
7</section>
8
9<section>
10  <a href="#modal_02" class="btn">Modal 02</a>
11  <div class="remodal" data-remodal-id="modal_02">
12    <div><img src="https://125naroom.com/demo/img/itukanokotonokoto02.jpg" alt="125naroom"></div>
13    <button data-remodal-action="cancel" class="remodal-cancel">閉じる</button>
14  </div>
15</section>
16
17<section>
18  <a href="#modal_03" class="btn">Modal 03</a>
19  <div class="remodal" data-remodal-id="modal_03">
20    <div><img src="https://125naroom.com/demo/img/itukanokotonokoto03.jpg" alt="125naroom"></div>
21    <button data-remodal-action="cancel" class="remodal-cancel">閉じる</button>
22  </div>
23</section>
24
25<section>
26  <a href="#modal_04" class="btn">Modal 04</a>
27  <div class="remodal" data-remodal-id="modal_04">
28    <div><img src="https://125naroom.com/demo/img/itukanokotonokoto05.jpg" alt="125naroom"></div>
29    <button data-remodal-action="cancel" class="remodal-cancel">閉じる</button>
30  </div>
31</section>

css
1.btn {
2  display: flex;
3  justify-content: center;
4  align-items: center;
5  background: #ffffff;
6  border: 2px solid #b4b1a0;
7  color: #4c4833;
8  width: 300px;
9  height: 80px;
10  box-sizing: border-box;
11  text-decoration: none;
12  transition-duration: 0.3s;
13}
14.btn:hover {
15  background: #b4b1a0;
16  color: #ffffff;
17}
18.remodal {
19  position: relative;
20  padding: 25px;
21}
22.remodal img {
23  width: 100%;
24  height: auto;
25  vertical-align: top;
26}
27.remodal-cancel {
28  color: #fff;
29  background: #000000;
30  width: 100%;
31  margin-top: 25px;
32}
33.remodal-cancel:hover {
34  background: #333;
35}
36