[Unity]SpawnWithClientAuthorityのエラーの原因を教えてください

Question

前提・実現したいこと

Unityでタイムの計測システムを作っています。クライアント権限をボタンに持たせるためにSpawnWithClientAuthorityをつかうのですが、エラーが出てしまいボタンが生成されません。
ネットワークを使用していますが、接続する機器により違う役割を持たせるためにシーンはそれぞれ違うものを利用しています。

発生している問題・エラーメッセージ

クライアント側で実行するとき、Warningが出てしまい、ボタンが生成されません。
エラーメッセージ
NullReferenceException: Object reference not set to an instance of an object
UnityEngine.Networking.NetworkServer.SpawnWithClientAuthority (UnityEngine.GameObject obj, UnityEngine.Networking.NetworkConnection conn) (at C:/buildslave/unity/build/Extensions/Networking/Runtime/NetworkServer.cs:1565)
Adjuster.Start () (at Assets/Scripts/Adjuster.cs:23)

該当のソースコード

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.Networking;

public class Adjuster : NetworkBehaviour {
    //public GameObject TimeMuster;
    public GameObject StB; //スタートボタンのプレハブを格納します
    public GameObject ReB; //リセットボタンのプレハブを格納します
    
    // Use this for initialization

    [ClientCallback]
    void Start () {
        StB = (GameObject)Resources.Load("Prefubs/Start");
        ReB = (GameObject)Resources.Load("Prefubs/Reset");
        if(StB == null || ReB == null)
        {
            Debug.Log("Object is null."); //実行したところ出てきませんでした。
        }
        NetworkConnection Conn = connectionToClient;
        /*StB = Instantiate(StB,GameObject.Find("Canvas/ControlPanel").transform);*/
        NetworkServer.SpawnWithClientAuthority(StB, Conn);//この行でエラーが生じます。
        /*if (TimeMuster != null) { TimeMuster.SetActive(true); }*/
        if (StB != null) { StB.SetActive(true); }
        if (ReB != null) { ReB.SetActive(true); }
    }
	
	// Update is called once per frame
	void Update () {
        
        /*if(StB == null)
        {
            Debug.Log("X");
        }*/
        //Destroy(this.gameObject);

	}
}

さらに変更したい変数があるスクリプトも載せておきます。

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.Networking;
using UnityEngine.UI;
using System;

public class TimeMuster : NetworkBehaviour {
    //このクラスが付いたゲームオブジェクトは変更したい変数があるものです。
    public float ElTime;
    public Text TimeDisp;

    [SyncVar]
    public bool started = false;　//変更したい変数

    public void Start()
    {
        //OnStarted();
        TimeDisp = GameObject.Find("NowTime").GetComponent<Text>();
    }
    public void Update()
    { //この下は時間の表示に関するものなのでそこまで意味はないです。
        if (started)
        {
            ElTime += Time.deltaTime;
            int M = (int)Math.Floor(ElTime / 60d);
            float S = ElTime - 60f * M;
            string SSt = S.ToString("F2");
            if(M == 0)
            {
                TimeDisp.text = SSt;
            }
            else
            {
                TimeDisp.text = M + ":" + SSt;
            }
            
        }
    }
    public void OnStarted()
    { //使う予定はありません
        started = true;
    }

}

試したこと

いったんInstantiateで生成してから、ボタン側でAssignClientAuthorityを実行しようとも考えたのですが、Warningが出てしまい、うまくいきませんでした。

補足情報（FW/ツールのバージョンなど）

Unity 2018.2.8f1を使用しています。
インスペクターの画像です。

Comments

[fiveHundred]

私はあまり詳しくはないですが、そもそもボタンのオブジェクトをネットワークで共有する理由がよく分かりませんでした。ネットワークで同期すべきなのは「ボタンが押されているかどうか」であって、ボタンのオブジェクトそのものはネットワークで同期する必要はないと思いますが、どうでしょう？

[TKM2977]

ありがとうございます。今回ネットワークが初めてなのでほかに良い方法があればご教授いただいたいのですが、ボタン側のスクリプトで[Command]からサーバー側にあるゲームオブジェクトの変数を書き換える処理を行いたいと考えています。そこでAssignClientAuthorityを使おうとしたところうまくいかず…無理やりSpawnWithClientAuthorityを使おうとしている感じです。やりたいことはボタンが押されたらサーバーにあるゲームオブジェクトの変数を書き換えることなのでその他の方法があればお教えいただけるとありがたいです。

[TKM2977]

追記：そもそもクライアント権限がなく[Command]以下が動作しなかったのでクライアント権限を付与しようとしています。