rails_admin 誰でも管理画面に入れてしまう。

Question

rails_adminとcancancancancancanをインストールしましたが、adminが付与されていないユーザーでも、直接urlを入れると管理者ページに入れますが、どこがよくないのか分かりません。どなたかご教授ください。

RailsAdmin.config do |config|

  ### Popular gems integration

  ## == Devise ==

  config.authenticate_with do
    warden.authenticate! scope: :user
  end
  config.current_user_method(&:current_user)

  ## == Cancan ==
  config.authorize_with :cancan

  ## == Pundit ==
  # config.authorize_with :pundit

  config.actions do
    dashboard                     # mandatory
    index                         # mandatory
    new
    export
    bulk_delete
    show
    edit
    delete
    show_in_app

  end
end

# frozen_string_literal: true

class Ability
  include CanCan::Ability

  def initialize(user)
    if user.try(:admin?)
      can :access, :rails_admin
      can :manage, :all
    end

class AddColumnToUsers < ActiveRecord::Migration[5.2]
  def change
    add_column :users, :admin, :boolean, default: false
  end
end

DBでは、
id|user_name|password_digest|email|created_at|updated_at|imagename|point|admin
39|山本　けんいち|$2a$12$3ahhM/ihmgkJfvvnNMy0qucw1XSzzvm99MuBcJF2IfezIgfs4u9sq|ii@ii|2019-12-20 22:00:06.490327|2019-12-20 22:00:06.490327|default_user.jpg|未評価|0

という感じでadminは、0とでます。