アンカーリンクを移動させずにハッシュタグをつけたい

前提・実現したいこと

<a href="#modal01">モーダル1を開く</a>
<a href="#modal02">モーダル2を開く</a>
<a href="#modal03">モーダル3を開く</a>

<div id="modal01">
    <div class="image"><img src="images/modal01.png" alt=""></div>
    <a href="#modal03" class="modal-prev">前へ</a>
    <a href="#modal02" class="modal-next">次へ</a>    <a href="" class="modal-close hover">閉じる</a>
</div>

<div id="modal02">
    <div class="image"><img src="images/modal02.png" alt=""></div>
    <a href="#modal01" class="modal-prev">前へ</a>
    <a href="#modal03" class="modal-next">次へ</a>    <a href="" class="modal-close hover">閉じる</a>
</div>

<div id="modal03">
    <div class="image"><img src="images/modal03.png" alt=""></div>
    <a href="#modal02" class="modal-prev">前へ</a>
    <a href="#modal01" class="modal-next">次へ</a>    <a href="" class="modal-close hover">閉じる</a>
</div>

// モーダルの立ち上げ
function modalOpen(target) {
    // モーダルに必要な要素の挿入
    $('body').css({position:"relative",overflowX:"hidden"}).append('<div id="modal-bg"></div><div id="modal"></div>');
    $(target).appendTo('#modal').fadeIn();
    $('#modal-bg').fadeIn();

    // モーダル高さが画面高さより狭いとき
    if ($('#modal').height() <= $(window).height() ) {
        $('#modal').css({
            top: $(window).scrollTop() + ($(window).height() / 2) - ($('#modal').height() / 2),
            marginLeft: - $('#modal').width() / 2
        });
    // モーダル高さが画面高さより広いとき
    } else {
        $('#modal').css({
            top: $(window).scrollTop() + 10,
            marginLeft: - $('#modal').width() / 2
        });
    }
}

// モーダルの中身切り替え
function modalChange(target) {
    $('#modal').children().clone().appendTo('body').fadeOut();
    $('#modal').html('');
    $(target).appendTo('#modal').fadeIn();
}

// モーダルを閉じる
function modalClose() {
    $.when(
        $('#modal').children().clone().appendTo('body').fadeOut(),
        $('#modal-bg').remove(),
        $('#modal').html('').remove()
    ).done(function(){ 
        $('body').removeAttr('style');
    });

}

$(function() {
    // モーダルを開くとき
    $(document).on('click', 'a.modal', function(e) {
        e.preventDefault();
        var href= $(this).attr("href");
        var target = $(href == "#" || href == "" ? 'html' : href);
        var position = target.offset().top;
        $("html, body").animate({scrollTop:position}, 1000, "swing");
        var targetId = target.attr("id");
        setTimeout(function(){
            location.hash = targetId;
            return false;
        },500);
        modalOpen(href);
    });

    // モーダルの中身を切り替えるとき
    $(document).on('click', 'a.modal-change', function(e) {
        e.preventDefault();
        var href= $(this).attr("href");
        var target = $(href == "#" || href == "" ? 'html' : href);
        var position = target.offset().top;
        $("html, body").animate({scrollTop:position}, 1000, "swing");
        var targetId = target.attr("id");
        modalChange(href);
        setTimeout(function(){
            location.hash = targetId;
            return false;
        },500);
    });

    // モーダルを閉じるとき
    $(document).on('click', '#modal-bg, a.modal-close', function(e) {
        e.preventDefault();
        modalClose();
        location.hash = '';
    });


});

$(window).on('load',function(){
    // ハッシュタグ
    if (location.hash == ""){
      var urlhash = location.hash;
      console.log(urlhash);
      modalOpen("#modal02");
    }
});

このようにクリックするとモーダルが開くようにしています。
モーダルが開いた後は次へ前へボタンがあって切り替えできるようにしています。
urlで判定したいため、htmlの後に#modal01などとつけているのですが、
ついたタイミングで画面がスクロール（アンカーの位置まで動く）してしまうため
苦肉の策で、
$("html, body").animate({scrollTop:position}, 1000, "swing");
しております。
こちらをハッシュタグは付くけど、アンカーの位置まで移動させないようにする良いやり方はありますでしょうか。