【jQuery】スクロールでボタンを表示、クリックで非表示、再スクロールで表示したい

前提・実現したいこと

1）800pxまでスクロールでボタン出現（画面下部で固定、フッターの上部で固定）
2）ボタンクリック（ページ内アンカー）でボタンが消える
3）再スクロールで表示

発生している問題・エラーメッセージ

クリックでいったんボタンが消えるが、すぐに表示される

該当のソースコード

$(document).ready(function(){
    $(".btn").hide();
    $(window).on("scroll", function() {
        if ($(this).scrollTop() > 800) {
            $(".btn").fadeIn("fast");
        } else {
            $(".btn").fadeOut("fast");
        }
        scrollHeight = $(document).height();
        scrollPosition = $(window).height() + $(window).scrollTop();
        footHeight = $("footer").innerHeight(); 
        if ( scrollHeight - scrollPosition  <= footHeight ) {
            $(".btn").css({
                "position":"absolute",
                "bottom": footHeight + 50
            });
        } else {
            $(".btn").css({
                "position":"fixed",
                "bottom": "20px"
            });
        }
    });

    $('a[href^="#"]').click(function() {
        var speed = 400;
        var href= $(this).attr("href");
        var target = $(href == "#" || href == "" ? 'html' : href);
        var position = target.offset().top;
        $('body,html').animate({scrollTop:position}, speed, 'swing');
        $(".btn").fadeOut();
        $(window).off("scroll", display);
        return false;
   });
});

htmlは下記のようになっています。

<div class="hero">高さ800pxの画像：ここではボタンは出現しない</div>

<div id="sec01">1</div>
<div id="sec02">2</div>
<div id="sec03">3</div>

<footer>ボタンは最下部に固定で、footerまでくればfooterの上に表示</footer>

<div class="btn"><a href="#sec01">sec01へアンカーリンク</a></div>
<div class="btn"><a href="#sec02">sec02へアンカーリンク</a></div>
<div class="btn"><a href="#sec03">sec03へアンカーリンク</a></div>

試したこと

ページ内アンカーのためクリック後もすぐに
if ($(this).scrollTop() > 800) {
$(".btn").fadeIn("fast");
が効いてしまっている？

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。