お絵描きアプリを作成中なのですが上手く動きません

iPhoneでタッチでお絵描きが出来るアプリを、swiftで作成中です。
滑らかな線を引くために、以下の処理をしています。

タッチ座標①
↓中間点①
タッチ座標②
↓中間点②
タッチ座標③

タッチ座標間の中間点を計算し、中間点①と中間点②を、タッチ座標②をコントロールポイントとした QuadBezierPath で結びます。

最初の指の移動では、最初にタッチした座標(A)と移動した後の座標(B)しかないので、最初にタッチした座標と(A)(B)の中間点を直線で結びます。
最後の指の移動についても同様で、最後の中間点と最終的に指を離した座標を直線で結びます。

###発生している問題・エラーメッセージ
エラーは出ていないのですが、最初のタッチで画面左上の座標(0,0)からタッチしたポイントまでいきなり線が引かれてしまいます。
また、指を離して、次にタッチすると、その２点間にも線が引かれてしまいます。

###該当のソースコード
swift3.0で書いてます。

import UIKit

class ViewController: UIViewController {

@IBOutlet weak var imageView: UIImageView!

var lastPoint = CGPoint.zero
var currentPoint = CGPoint.zero
var midPoint1 = CGPoint.zero
var midPoint2 = CGPoint.zero
var swiped = false



override func viewDidLoad() {
    super.viewDidLoad()
    // Do any additional setup after loading the view, typically from a nib.
    
}

//直線の描画
func drawLines(fromPoint:CGPoint,toPoint:CGPoint){
    UIGraphicsBeginImageContext(self.view.frame.size)
    imageView.image?.draw(in: CGRect(x:0,y:0,width:self.view.frame.width,height:self.view.frame.height))
    let context = UIGraphicsGetCurrentContext()
    
    context?.move(to:CGPoint(x:fromPoint.x,y:fromPoint.y))
    context?.addLine(to:CGPoint(x:toPoint.x,y:toPoint.y))
    context?.setBlendMode(CGBlendMode.normal)
    context?.setLineCap(CGLineCap.round)
    context?.setLineWidth(1)
    context?.setStrokeColor(UIColor(red:0,green:0,blue:0,alpha:1).cgColor)
    
    context?.strokePath()
    
    imageView.image = UIGraphicsGetImageFromCurrentImageContext()
    UIGraphicsEndImageContext()
}

//曲線の描画
func drawCurves(fromPoint:CGPoint,toPoint:CGPoint,controlPoint:CGPoint){
    UIGraphicsBeginImageContext(self.view.frame.size)
    imageView.image?.draw(in: CGRect(x:0,y:0,width:self.view.frame.width,height:self.view.frame.height))
    let context = UIGraphicsGetCurrentContext()
    
    context?.move(to:CGPoint(x:fromPoint.x,y:fromPoint.y))
    context?.addQuadCurve(to:CGPoint(x:toPoint.x,y:toPoint.y),control:CGPoint(x:controlPoint.x,y:controlPoint.y))
    context?.setBlendMode(CGBlendMode.normal)
    context?.setLineCap(CGLineCap.round)
    context?.setLineWidth(5)
    context?.setStrokeColor(UIColor(red:0,green:0,blue:0,alpha:1).cgColor)
    
    context?.strokePath()
    
    imageView.image = UIGraphicsGetImageFromCurrentImageContext()
    UIGraphicsEndImageContext()
}

//タッチスタート
override func touchesBegan(_ touches: Set<UITouch>, with event: UIEvent?) {
    if let touch = touches.first{
        lastPoint = touch.location(in: self.view)
    }
}

//タッチ移動
override func touchesMoved(_ touches: Set<UITouch>, with event: UIEvent?) {
    if let touch = touches.first{
        
        //初回の移動なら最初の中間点まで直線を引く
        if swiped == false{
            let currentPoint = touch.location(in: self.view)
            let midPoint1 = CGPoint(x:(lastPoint.x + currentPoint.x)/2,y:(lastPoint.y + currentPoint.y)/2)
            
            drawLines(fromPoint:lastPoint,toPoint:midPoint1)
            lastPoint = currentPoint
            swiped = true
            
        }else{
        //2回目以降の移動なら中間点を繋いで曲線を引く
        let currentPoint = touch.location(in: self.view)
        let midPoint2 = CGPoint(x:(lastPoint.x + currentPoint.x)/2,y:(lastPoint.y + currentPoint.y)/2)
        drawCurves(fromPoint:midPoint1,toPoint:midPoint2,controlPoint:lastPoint)
        midPoint1 = midPoint2
        lastPoint = currentPoint
        swiped = true
        }
    }
}

//最後のタッチは、最後の中間点から最終点まで直線を引く
override func touchesEnded(_ touches: Set<UITouch>, with event: UIEvent?) {
    if let touch = touches.first{
            let currentPoint = touch.location(in: self.view)
            drawLines(fromPoint: midPoint1, toPoint: currentPoint)
            swiped = false

    }
}

override func didReceiveMemoryWarning() {
    super.didReceiveMemoryWarning()
    // Dispose of any resources that can be recreated.
}