loading="lazy"とページ内リンクへのスムーススクロール（URLの#以降を表示させたくない）

Question

前提・実現したいこと

皆様、お世話になっております。
ページタイトルで質問内容を正確に表現できていないため、質問が長文になりますが、よろしくお願いいたします。

Chromeで挙動する画像遅延読み込みのloading="lazy"という属性を画像タグに埋め込んでいます。
それによってページ内リンクへのスムーススクロールが上手く挙動しなくなってしまいました。

  $('a[href^="#"]').click(function(){
    var speed = 500;
    var href= $(this).attr("href");
    var target = $(href == "#" || href == "" ? 'html' : href);
    var position = target.offset().top;
    $("html, body").animate({scrollTop:position}, speed, "swing");
    return false;
  });

一般的だと思われる↑のようなコードを使用していたのですが、loading="lazy"を採用したことによって、未スクロール部分の画像の高さが0と判断され、その分だけクリック時のpositionの高さと実際のページ内リンクのIDまでの高さにズレが発生してしまい、（画像部分をたくさん通過する必要があるページ下部にいくにつれて）、意図した場所とズレたところでスクロールがとまってしまう…という減少が発生しています。
（loading="lazy"にまったく問題なく挙動するサイトもあるのですが、比較的大規模＋古いサイトで、どういうわけかこの減少が発生して困っていました。）

そこで、私なりに考えまして、↓下記のような記述で応急処置をとりました。

  $('a[href^=#]').click(function() {
    var href = $(this).attr("href");
    var target = $(href == "#" || href == "" ? 'html' : href);
    var position = target.offset().top - headerHight;

    $.when(
      $("html, body").animate({
        scrollTop: position
      }, 400, "swing"),
    ).done(function() {
      var diff = target.offset().top - headerHight;
      if (diff === position) {
      } else {
        $("html, body").animate({
          scrollTop: diff
        }, 10, "swing");
      }
    });
  });

おそらく、あまりスマートな方法ではないのかなとは思うのですが、一応、これでスクロール問題自体は解決しています。
ただ、タイトルにも記述しましたとおり、上記のコードですと、クリック時にURLに#IDが付与されてしまいます。

https://hoge.jp/index.html#sectionA
（↑こんな感じです。）

これをクリック時に、
https://hoge.jp/index.html
このようにIDを付与しないかたちにするためには、上記コードをどのように変更したら良いでしょうか？

何卒、よろしくお願い申し上げます。

Comments

[Lhankor_Mhy]

preventDefault はダメでしたか？

[KotubuKakiwa]

ご回答、有難うございます。
恥ずかしながら、preventDefaultを知らなかったため、試していませんでした。
whenの最後に付与することで、解決できました！

[Lhankor_Mhy]

ご解決されて何よりです。

自己解決の処理をお願いします。
https://teratail.com/help#resolve-myself

[kei344]

まだ質問が「受付中」になっていますが、どのように解決したのかを回答文に書き、「解決済」にされてはいかがでしょうか。

[KotubuKakiwa]

失礼いたしました。お二方とも、ご教示有難うございます。

Answer 1

アドバイスを頂きまして、when()内にpreventDefaultを追記することで解決できました。
皆様、有難うございました！

  $('a[href^=#]').click(function(e) {
    var href = $(this).attr("href");
    var target = $(href == "#" || href == "" ? 'html' : href);
    var position = target.offset().top - headerHight;

    $.when(
      $("html, body").animate({
        scrollTop: position
      }, 400, "swing"),
      e.preventDefault(),
    ).done(function() {
      var diff = target.offset().top - headerHight;
      if (diff === position) {
      } else {
        $("html, body").animate({
          scrollTop: diff
        }, 10, "swing");
      }
    });
  });