LaravelのorderByの複数指定の際に2つ目の指定が結果に反映されない

$members = Member::join('users','members.user_id', '=' , 'users.id')
->select('members.*')
->where('members.project_id',$project_id)
->orderBy('users.name' , 'asc')
->orderBy('members.permission' , 'desc')
->get();

上記の様なコードを書きました。
メンバーズテーブルからWhereする際に、Usersテーブルのidとmembersテーブルのuser_idをジョインして、selectをして結果はmembersテーブルの内容だけ返す。そして、whereでmembersテーブルのproject_IDにマッチする物を探してくる。

そして、問題はこの次のこの結果を昇順降順に並び変える際に、
->orderBy('users.name' , 'asc')
ここに関してはうまく結果に反映されているのですが、
->orderBy('members.permission' , 'desc')
が結果に反映されません。

orderByの条件を複数指定する際は、複数付けたらいいだけだという認識でしたが間違っていますでしょうか…？

ちなみに、テーブル構成ですが

users
￣￣￣￣￣￣￣￣
id
account_name
password
name
permission

members
￣￣￣￣￣￣￣￣
id
project_id
user_id
permission

project
￣￣￣￣￣￣￣￣
id
name

と言う感じです。

宜しくお願いします。