VirtualBoxのインストールが上手くできずターミナルからvagrant upできない

すみません、Macでの仮想環境の構築でつまづいており何かご存知でしたら助けていただけないでしょうか。

■困っていること
N予備校の【2020年度】プログラミング入門 Webアプリ　第２章　02.LinuxというOS　を進めています。
virtualboxとvagrantをインストールしてUbuntuの仮想環境をつくるところまではいったのですが、「vagrant up」が実行できずターミナル（iTerm2）から仮想環境を触れません。

■やりたいこと
virtualboxがうまくインストールできていない（重複とかしてる？？）のを正常化したいです。
ターミナル側から仮想環境を操作できるようになりたいです。

■症状
症状は↓のURLとほぼ同じですが、インストール自体は成功しており、ターミナルでなくアプリ側ならば操作ができるように見えます。（ただし症状が出ており心配なのでまだ動かしてはいません）
https://qiita.com/nemui_/items/e6eb45210c173651b6ff

・Virtualboxをインストールするさい、「機能拡張がブロックされました」というダイアログが出たときにうっかり「OK」を押してしまい、インストールに失敗したと出ました。（本来ならここで手順通りセキュリティ環境設定を開いて許可するべきだったのですが、そのダイアログが二度と出なくなりました）
・その後、ブラウザ側からvirtualboxの6.1.16をダウンロードしインストールしたものの、brewコマンドでは操作ができません。
・何度かvirtualboxのインストールとアンインストールを繰り返しているうちに、アンインストールした後にもvirtualboxの残りカス？のようにアプリケーションにvirtualbox14.31.41みたいのが残ります。起動はできません。

■PC環境
macOS Big Sur
バージョン 11.2.2
Apple M1
16GB