Unityで対象となるオブジェクトによってカメラの挙動が変わってしまう

kabanさんのご回答でうまくいくようでしたら問題ありませんが、もう一つの可能性として、それら骨オブジェクトのモデル座標原点がとんでもない位置になっているということはないでしょうか?
ご参考にされたTPS用カメラコントローラーのコードでは、注目対象のpositionを中心に据えるようになっているようです。3D Slicerの動作がどうなっているか確認したわけではないのですが、もし変な位置が原点になってしまっていると、そこを中心にカメラが回転することになるでしょう。

代わりに、注目オブジェクトの持つRendererのbounds...つまりポリゴンメッシュを囲む直方体を調べて、その中心を注目点としてみるのはどうでしょうか。

using UnityEngine;
using System.Collections;

public class CameraContollerScript : MonoBehaviour
{
    public Transform target;
    public float spinSpeed = 1f;
    float distance = 1f;

    Vector3 nowPos;
    Vector3 pos = Vector3.zero;
    public Vector2 mouse = Vector2.zero;

    Transform currentTarget; // 追加...現在注目しているオブジェクト
    Vector3 currentTargetCenter; // 追加...注目中のオブジェクトの中心

    void Start()
    {
        // 初期位置の取得
        nowPos = transform.position;
    }

    void Update()
    {
        // マウスの移動の取得
        if (Input.GetMouseButton(0))
        {
            mouse += new Vector2(Input.GetAxis("Mouse X"), Input.GetAxis("Mouse Y")) * Time.deltaTime * spinSpeed;
        }

        mouse.y = Mathf.Clamp(mouse.y, -0.3f + 0.5f, 0.3f + 0.5f);

        // 球面座標系変換
        pos.x = distance * Mathf.Sin(mouse.y * Mathf.PI) * Mathf.Cos(mouse.x * Mathf.PI);
        pos.y = -distance * Mathf.Cos(mouse.y * Mathf.PI);
        pos.z = -distance * Mathf.Sin(mouse.y * Mathf.PI) * Mathf.Sin(mouse.x * Mathf.PI);

        pos *= nowPos.z;

        pos.y += nowPos.y;

        UpdateCurrentTargetCenter(); // 追加...中心点を適宜再計算

        // 座標の更新
        transform.position = pos + currentTargetCenter; // 変更...target.positionの代わりにcurrentTargetCenterを見る
        transform.LookAt(currentTargetCenter); // 変更...target.positionの代わりにcurrentTargetCenterを見る
    }

    // 追加...もしターゲットが変わった場合、中心点を再計算するメソッド
    void UpdateCurrentTargetCenter()
    {
        if (target != currentTarget)
        {
            currentTarget = target;

            if (currentTarget == null)
            {
                currentTargetCenter = Vector3.zero; // ターゲットがnullなら(0, 0, 0)を中心とする
            }
            else
            {
                Renderer[] renderers = currentTarget.GetComponentsInChildren<Renderer>(); // 注目オブジェクトおよびその子の持つすべてのレンダラーを探す
                int rendererCount = renderers.Length; // 見つかったレンダラーの数

                if (rendererCount > 0)
                {
                    Bounds unitedBounds = renderers[0].bounds; // 0番目レンダラーのバウンディングボックスを取得

                    for (int i = 1; i < rendererCount; i++)
                    {
                        unitedBounds.Encapsulate(renderers[i].bounds); // unitedBoundsに1番目以降のレンダラーのバウンディングボックスを結合していく
                    }

                    currentTargetCenter = unitedBounds.center; // 結合したバウンディングボックスの中心を新たな中心点とする
                }
                else
                {
                    currentTargetCenter = currentTarget.position; // レンダラーがないオブジェクトの場合、positionを中心とする
                }
            }
        }
    }
}