Network対戦での操作オブジェクトの切替方法

UnityのNetworkに関して，操作オブジェクトを切替る方法が知りたいです。
例えばゲーム画面上に２つのオブジェクト Player1，Player2があるとして，自分がPlayer1を方向キーで操作できるとします。その際，スペースボタンを押せばPlayer2の操作に切替る，そしてもう一度スペースを押せばPlayer１の操作に切替る方法が知りたいです。

（やってみたこと）
Unity本家サイトの「マルチプレイヤーの動きをテストする」まで同じことを行いました。そしてプレイヤーオブジェクトのプレイヤーの切替を参考にPlayerのScriptを以下のように書き換えました。

C#
1using UnityEngine;
2using UnityEngine.Networking;
3
4public class PlayerMove : NetworkBehaviour {
5	
6	string player1;
7	string player2;
8
9	void Start(){
10		player1 = "Player1(Clone)";
11		player2 = "Player2";
12	}
13
14	// Update is called once per frame
15	void Update () {
16		if(!isLocalPlayer){
17			return;
18		}
19
20
21		float x = Input.GetAxis("Horizontal")*0.1f;
22		float z = Input.GetAxis("Vertical")*0.1f;
23
24		transform.Translate(x, 0, z);
25
26		if(Input.GetKeyDown(KeyCode.Space)){
27			Debug.Log("切替");
28			PlayerChange(this.gameObject);
29		}
30	}
31
32  public void PlayerChange(GameObject oldPlayer)
33  {
34      var conn = oldPlayer.GetComponent<NetworkIdentity>().connectionToClient;
35
36      GameObject newPlayer;
37      if(this.gameObject.name == player1){
38	      newPlayer = GameObject.Find(player2);
39	      NetworkServer.ReplacePlayerForConnection(conn, newPlayer, 0);
40      }
41      else{
42	      newPlayer = GameObject.Find(player1);	
43	      NetworkServer.ReplacePlayerForConnection(conn, newPlayer, 0);
44      }  
45  }
46
47}

またPlayer1（Prefab）をHierarchyにドラッグしてPlayer2というオブジェクトを作っています。

（エラー）
上のコードで再生したところ，スペースキーを１回押せばPlayer1からPlayer2への切替はうまくいったのですが，もう一度スペースキーを押す（Player2からPlayer1に切り替えようとする）と以下のエラーが出ました。

SetClientOwner m_ClientAuthorityOwner already set!
UnityEngine.Networking.NetworkServer:ReplacePlayerForConnection(NetworkConnection, GameObject, Int16)
PlayerMove:PlayerChange(GameObject) (at Assets/PlayerMove.cs:43)
PlayerMove:Update() (at Assets/PlayerMove.cs:28)