関連モデルを含めたwhere検索について

Question

現在２ユーザーに分けたアプリを作成中です。
ログインhostがuser一覧を取得する際に登録しているskillsが全く被らないuserのみ一覧で取得したいと考えています。

# User
  has_many :user_skills
  has_many :skills, through: :user_skills

# UserSkill
  belongs_to :user
  belongs_to :skill

# Host
  has_many :host_skills
  has_many :skills, through: :host_skills

# HostSKill
  belongs_to :host
  belongs_to :skill

# SKill
  has_many :user_skills
  has_many :users, through: :user_skills
  has_many :host_skills
  has_many :hosts, through: :host_skills

恥ずかしながら私が書いてみたのは以下のような感じです

host_skill_ids = []
current_api_host.host_skills.map {|skill| host_skill_ids.push(skill.skill_id)}

User.left_joins(:user_skills).includes(:user_skills).merge(UserSkill.where.not(skill_id: host_skill_ids))

しかしこれだと
検索されるべきではないuserがひっかかってしまいます

User Load (1.9ms)  SELECT `users`.* FROM `users` LEFT OUTER JOIN `user_skills` ON `user_skills`.`user_id` = `users`.`id` WHERE `user_skills`.`skill_id` NOT IN (1, 2, 3...) ORDER BY RAND()

UserSkill Load (1.0ms)  SELECT `user_skills`.* FROM `user_skills` WHERE `user_skills`.`user_id` IN (31, 17, 21, 13)

ご教授よろしくお願い致します。