collection_selectの項目の表示方法

Question

社内でユーザーを指定してコメントを送る物を作っています。

今まではcollection_selectを使い登録ユーザー一覧を表示していたのですが
登録ユーザー数が多くなった為、目的のユーザーを見つけるのに苦労するようになってきました。

今まで使っていたコード↓
task/new

<%= form_with(model: @task, local: true) do |f| %>

  <div class="form-group">
    <%= f.label :user, '担当者' %>
    <%= f.collection_select :user_id, User.all, :id, :name, :prompt => "選択してください" %>
  </div>
  
  <div class="form-group">
    <%= f.label :comment, 'コメント' %>
    <%= f.text_area :comment, class: 'form-control' %>
  </div>
  
  <%= f.submit '作 成', class: 'btn btn-primary btn-block' %>
<% end %>

部署（department）を作り、userを関連付けていので
部署を選んだらその部署を登録しているuserのみを表示できるようにしたいのですが
collection_selectを調べると上記の様な方法しか出てこないので
良い方法が有れば知恵を貸していただけると助かります。

該当のソースコード

DB

class CreateUsers < ActiveRecord::Migration[5.2]
  def change
    create_table :users do |t|
      t.string :name
      t.string :email
      t.string :password_digest
      t.references :department, foreign_key: true
      t.boolean :admin, default: false

      t.timestamps
    end
  end
end

class CreateDepartments < ActiveRecord::Migration[5.2]
  def change
    create_table :departments do |t|
      t.string :name, null: false

      t.timestamps
    end
  end
end

class CreateTasks < ActiveRecord::Migration[5.2]
  def change
    create_table :tasks do |t|
      t.references :user, foreign_key: true
      t.string :comment
     
      t.timestamps
    end
  end
end

task

<%= form_with(model: @task, local: true) do |f| %>

  <div class="form-group">
    <%= f.label :user, '担当者' %>
    <%= f.collection_select :user_id, User.all, :id, :name, :prompt => "選択してください" %>
  </div>
  
  <div class="form-group">
    <%= f.label :comment, 'コメント' %>
    <%= f.text_area :comment, class: 'form-control' %>
  </div>
  
  <%= f.submit '作 成', class: 'btn btn-primary btn-block' %>
<% end %>

def new
  @task = Task.new
end
  
def create
  @task = Task.new(task_params)
  if @task.save
    flash[:success] = 'メッセージを投稿しました。'
    redirect_to root_url
  else
    flash.now[:danger] = 'メッセージの投稿に失敗しました。'
    render :new
  end
end

private

def task_params
  params.require(:task).permit(:user, :comment)
end

補足情報（FW/ツールのバージョンなど）

開発環境
AWS9
Rails5.2.4.1

プログラミング歴
6ヶ月