Unityでオブジェクトがターゲットに向かって動くようにしたい

前提・実現したいこと

ある球体オブジェクトを2つのキューブオブジェクトをターゲットとして動かしたいです。
順番としては画像内の球体が赤オブジェクトに向かい到達、緑のオブジェクトに向かい到達、初期位置に戻る。これを繰り返したいです。
別のプロジェクトのできない部分のみをテストする用のシーンなので、このようなシーンになっており、オブジェクトは変更せずソースコードを変更することで成功させたいです。

発生している問題・エラーメッセージ

赤オブジェクトには到達しますが、その後緑オブジェクトと初期位置に到達できません。
二つのオブジェクトの間で中途半端に行ったり来たりする不自然な挙動をし、初期位置への移動が加わるとさらにおかしくなります。
画像では分かりにくいですが、赤と緑の間を高速で移動しています。

ソースコードは空のオブジェクトにアタッチし、インスペクタから球体、ターゲットオブジェクトなどをアタッチしています。

該当のソースコード

C#
1using System.Collections;
2using System.Collections.Generic;
3using UnityEngine;
4
5public class MoveManager : MonoBehaviour {
6
7    public GameObject target1;
8    public GameObject target2;
9    public GameObject sphere;
10    public float speedParameter = 10;
11
12    private Vector3 startPos;
13
14    // Use this for initialization
15    void Start () {
16        startPos = sphere.transform.position;
17	}
18
19    private IEnumerator moveTarget(float speed)
20    {
21        Vector3 tmp = sphere.transform.position;
22        sphere.transform.position = Vector3.MoveTowards(tmp, target1.transform.position, speed);
23        yield return new WaitForSeconds(3.0f) ;
24
25        Vector3 tmp2 = sphere.transform.position;
26        sphere.transform.position = Vector3.MoveTowards(tmp2, target2.transform.position, speed);
27        yield return new WaitForSeconds(3.0f);
28
29        Vector3 tmp3 = sphere.transform.position;
30        sphere.transform.position = Vector3.MoveTowards(tmp3, startPos, speed);
31        yield return new WaitForSeconds(3.0f);
32    }
33
34    // Update is called once per frame
35    void Update () {
36        float speed = speedParameter * Time.deltaTime;
37        StartCoroutine(moveTarget(speed));
38    }
39}
40