M1macでpythonのパスを正しく設定できない

前提・実現したいこと

Python3のパスを

usr/bin/python3

にしたいのですが、設定できません。~/.zshrcに、

export PATH=/usr/bin/python3$PATH

を書き込んでいるので、ターミナルでパスの表示を見ると、

$ echo $PATH
/usr/bin/python3
/Library/Frameworks/Python.framework/Versions/3.6/bin
/usr/local/bin
/usr/bin
/bin
/usr/local/svin
/usr/sbin
/sbin
/usr/local/share/dotnet
~/.dotnet/tools
/Library/Apple/usr/bin
/Library/Frameworks/Mono.framework/Versions/Current/Commands

となっていて、環境変数PATHでは、一番上に/usr/bin/python3があるにも関わらず、

$ where python3
/Library/Frameworks/Python.framework/Versions/3.6/bin/python3
/usr/local/bin/python3
/usr/bin/python3

となってしまって、一番下にきてしまいます。
結果として、python3を呼ぶと/Library/Frameworks/Python.framework/Versions/3.6/bin/python3のPython3が呼び出されてしまいます。

M1macで最初に環境構築を始めたときに、色々と試行錯誤した結果、/Library/Frameworks/Python.framework/Versions/3.6/bin/python3のディレクトリのpython3を呼び出すことで上手くいっていたのですが、tensorflowがインストールできず、色々と情報を見ているうちに、/usr/bin/python3のpython３を用いる（xcodeから入るpython）でないと上手く動かないということで、こういうことをしています。
元々使っていたのは、pythonのホームページ上でdmgファイルを実行することで環境構築したものであると思います。

/usr/bin/python3のpythonを用いるには、どうすれば良いでしょうか。