[JavaScript]インクリメンタルサーチで一度選択したユーザーは検索結果に出さないようにしたい。

Question

###前提・実現したいこと
インクリメンタルサーチで、一度選択した(.user_search_addをクリックした)ユーザーはもう検索しても出てこないようにしたい。
そのために、選択したユーザーのidを取得したい。
（取得はできているが、何度も呼び出されるようで以下のようなエラーが出る）

###発生している問題・エラーメッセージ

Uncaught RangeError: Maximum call stack size exceeded

###該当のソースコード

$(document).on('turbolinks:load', function(){

  function appendUser(user) {
    var html = `
               <div class="chat-group-user clearfix">
               <p class="chat-group-user__name">${ user.name }</p>
               <a class="user-search-add chat-group-user__btn chat-group-user__btn--add" data-user-id="${ user.id }" data-user-name="${ user.name }">追加</a>
               </div>
               `
    $("#user-search-result").append(html);
  };

  function changeUser(userName, userId) {
    var html =`
          <div class='chat-group-user clearfix js-chat-member' id='${ userId }'>
          <input name='group[user_ids][]' type='hidden' value='${ userId }'>
          <p class='chat-group-user__name'>${ userName }</p>
          <a class='user-search-remove chat-group-user__btn chat-group-user__btn--remove js-remove-btn'>削除</a>
          </div>
          `
    $("#chat-group-users").append(html);
  };

  $("#user-search-field").on("keyup", function(e) {
    e.preventDefault();
    var input = $("#user-search-field").val();

    if($(document).on('click', '.user-search-add') || $(document).on('click', '.user-search-remove')){
      var chat_group_users = $("#chat-group-users [name='group[user_ids][]'").map(function(){return $(this).val();});
    } else{
      var chat_group_users = [];
    };

    $.ajax({
      type: 'GET',
      url: '/users',
      data: { keyword: input, user_ids: chat_group_users },
      dataType: 'json'
    })
    .done(function(users) {
      $('#user-search-result').empty();
      users.forEach(function(user){
        appendUser(user);
      });
      if (input.length == 0){
        $("#user-search-result").empty();
      }
    })
    .fail(function() {
      alert('ユーザー検索に失敗しました');
    });
  });

  $(document).on('click', '.user-search-add', function(){
    $(this).parent().remove();
    var userName = $(this).data('userName');
    var userId = $(this).data('userId');
    changeUser(userName, userId);
  });

  $(document).on('click', '.user-search-remove', function(){
    $(this).parent().remove();
  })

});

###試したこと
keyupのたびに読み込まれるmapメソッドがいけないのではないかと思い、function外でchat_group_usersを定義しましたが、うまくいきませんでした。
お手数ですが、ご教授のほどよろしくお願いいたします。