ボール判定するプログラム

Question

目標（やりたいこと）

選択した範囲内にボールが入ったかどうか判定したい

質問内容

どのようにすれば、ボール判定できるか？

# -*- coding: utf-8 -*-

import numpy as np

import cv2

from time import time

import subprocess



VIDEO_DATE = "tennis.AVI"

WINDOW_NAME = "MouseEvent"



def dilation(dilationSize, kernelSize, img):  # 膨張した画像にして返す
    
    kernel = np.ones((kernelSize, kernelSize), np.uint8)
    
    element = cv2.getStructuringElement(cv2.MORPH_RECT, (2 * dilationSize + 1, 2 * dilationSize + 1), (dilationSize, dilationSize))
    
    dilation_img = cv2.dilate(img, kernel, element)
    
    return dilation_img




def detect(gray_diff, thresh_diff=95, dilationSize=9, kernelSize=20):  # 一定面積以上の物体を検出
    
    retval, black_diff = cv2.threshold(gray_diff, thresh_diff, 255, cv2.THRESH_BINARY)  # 2値化
    
    dilation_img = dilation(dilationSize, kernelSize, black_diff)  # 膨張処理
    
    img = dilation_img.copy()
    
　　image, contours, hierarchy = cv2.findContours(dilation_img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)  # 境界線検出

   
　 
    ball_pos = []

    

    for i in range(len(contours)):  # 重心位置を計算
        
        count = len(contours[i])
 
       
        area = cv2.contourArea(contours[i])  # 面積計算
        
        x, y = 0.0, 0.0
        
        for j in range(count):
            
            x += contours[i][j][0][0]
            
            y += contours[i][j][0][1]

        
            
        
        x /= count
        
        y /= count
       
        x = int(x)
       
        y = int(y)
       
        ball_pos.append([x, y])

    
    return ball_pos, img




def displayCircle(image, ballList, thickness=5):
    
    for i in range(len(ballList)):
        
        x = int(ballList[i][0])
        
        y = int(ballList[i][1])
        
        cv2.circle(image, (x, y), 10, (0, 0, 255), thickness)
    
    return image




def resizeImage(image, w=2, h=2):
   
    height = image.shape[0]
    
    width = image.shape[1]
    
    resizedImage = cv2.resize(image, (int(width / w), int(height / h)))
    
    return resizedImage




def blackToColor(bImage):

    colorImage = np.array((bImage, bImage, bImage))
    
    colorImage = colorImage.transpose(1, 2, 0)
    
    return colorImage



class PointList():
   
    def __init__(self, npoints):
        
        self.video = cv2.VideoCapture(VIDEO_DATE)
       
        self.frame = None
       
        self.npoints = npoints
        
        self.ptlist = np.empty((npoints, 2), dtype=int)
        
        self.pos = 0
        
        cv2.setMouseCallback(WINDOW_NAME, self.onMouse)

   
 
    def add(self, x, y):
        
        if self.pos < self.npoints:
           
            self.ptlist[self.pos, :] = [x, y]
           
            self.pos += 1
           
            return True
        
        return False

  
  
    def run(self):
       
        ok, self.frame = self.video.read()  # 最初のフレームを読み込む
        
        if not ok:
            
            print('Cannot read video file')
            
            sys.exit()
        
        self.frame_pre = self.frame.copy()

        
        
        while True:
            
            ok, self.frame = self.video.read()  # フレームを読み込む
            
            if not ok:
                
               break
            
            self.frame_next = self.frame.copy()

            

            if(self.pos == self.npoints):
               
                  cv2.line(self.frame, (self.ptlist[0][0], self.ptlist[0][1]),
                     
                       (self.ptlist[1][0], self.ptlist[1][1]), (0, 255, 0), 3)
                
                  cv2.line(self.frame, (self.ptlist[1][0], self.ptlist[1][1]),
                     
                       (self.ptlist[2][0], self.ptlist[2][1]), (0, 255, 0), 3)
                
                  cv2.line(self.frame, (self.ptlist[2][0], self.ptlist[2][1]),
                     
                       (self.ptlist[3][0], self.ptlist[3][1]), (0, 255, 0), 3)
                
                  cv2.line(self.frame, (self.ptlist[3][0], self.ptlist[3][1]),
                     
                       (self.ptlist[0][0], self.ptlist[0][1]), (0, 255, 0), 3)
            
            color_diff = cv2.absdiff(self.frame_next, self.frame_pre)  # フレーム間の差分計算
            
            gray_diff = cv2.cvtColor(color_diff, cv2.COLOR_BGR2GRAY)  # グレースケール変換
            
            retval, black_diff = cv2.threshold(gray_diff,30, 255, cv2.THRESH_BINARY)

            

            ball, dilation_img = detect(gray_diff)

            

            self.frame = displayCircle(self.frame, ball, 2)  # 丸で加工
            
            cImage = blackToColor(dilation_img)  # 2値化画像をカラーの配列サイズと同じにする
            
            

            self.frame_pre = self.frame_next.copy()  # 次のフレームの読み込み
            
            

            cv2.imshow(WINDOW_NAME, self.frame)
            
            if cv2.waitKey(10) ==27: # Escキーで抜ける
                
                break

    

      def onMouse(self,event, x, y, flag, params):
        
          if event == cv2.EVENT_MOUSEMOVE:  # マウスが移動したときにx線とy線を更新する
            
              self.frame2 = np.copy(self.frame)
            
              h, w = self.frame2.shape[0], self.frame2.shape[1]
            
              cv2.line(self.frame2, (x, 0), (x, h - 1), (255, 0, 0))
            
              cv2.line(self.frame2, (0, y), (w - 1, y), (255, 0, 0))
            
              cv2.imshow(WINDOW_NAME, self.frame2)

        

          if event == cv2.EVENT_LBUTTONDOWN:  # レフトボタンをクリックしたとき、ptlist配列にx,y座標を格納する
            
              if self.add(x, y):
                
                  print('[%d] ( %d, %d )' % (ptlist.pos - 1, x, y))
                
                  cv2.circle(self.frame, (x, y), 3, (0, 0, 255), 3)
                
                  cv2.imshow(WINDOW_NAME, self.frame)
            
              else:
                
                  print('All points have selected.  Press ESC-key.')



if __name__ == '__main__':
    
    cv2.namedWindow(WINDOW_NAME)
    
    npoints = 4
    
    ptlist = PointList(npoints)
   
    ptlist.run()
    
    cv2.destroyAllWindows()

参考にした文献（URL）

マウスで範囲選択
ボールの軌道抽出

Answer 1

質問者さんが解決したいと推測される課題

ファイル名から類推するに、「テニスをプレイしている動画から、ボールがバウンドしたかどうかを判定したい」ということですね。
所感としてはかなり難しい部類の問題になるかと思います。

背景差分法で行う上での懸念

・目標を達成するにはどのような処理が必要なのか？(必要な関数など...)
・作成したプログラムにボール判定するために追加すべき処理はあるか？

現在、背景差分による方法を考えておられるようですが、以下の理由で難しいかもしれません。

• テニスなのでボール以外に人も動いており、またテニスボールということは、かなり小さいですよね。背景差分法は輝度変化を見て、なにか動いたものを検知することはできますが、その中からどの動きがボールなのかを区別するのは難しいかと思います。

• OpenCV(Python版)でテニスのボール軌道を検出する

• 【OpenCVを使ったスポーツ画像解析3(モーショントラッキング)】選手やテニスボールの移動を自動で検出して移動軌跡をトラッキング

他に思いつく手法

例えば、トラッキング系の手法を使うのはどうでしょうか。
アルゴリズムはわかりませんが、実際のテニスの試合ではラインのIn/Out 判定をするシステムが 実用化 されているようです。
ただ上記のシステムはスーパースローカメラを使っているとのことで、市販の30FPSぐらいのカメラでスピードの早いボールを追いきれるかという懸念もあります。

課題解決のために必要なこと

簡単な問題ではないので、先行研究の論文や Web 上の記事を調べてみるのがいいと思います。

検索ワード

• 「スポーツ画像解析 OpenCV」
• 「トラッキング OpenCV」
• 「ボール トラッキング OpenCV」

Comments

[snake207]

回答、ありがとうございます。
背景差分だと回答者さんが言われた通り、ボールだけを検知するのは難しいので、手法を変えてトラッキング系の手法について調べてみようと思います。

Answer 2

他の方が既に述べられている通りに，撮影FPS（や撮影具合）次第な面が多そうですが…

オプティカルフローとか使えないでしょうか．
以下，推測ですが，

• （判定したい状況下においては）ボールの速度は人間等の動きと比較すると十分に早い
• 多くの場合，人間等の動きとボールの動きは独立している
• ｛ボールのサイズ，ボールの存在しえる距離範囲｝から，フローをクラスタリングした際の，ボールクラスタのサイズは限定できる

…みたいなことは無いでしょうか．

Comments

[fana]

後は，「ボールとそれ以外とでは，カメラの視界内での移動範囲が異なる」とか
（ある程度長時間追跡しないと見えませんが）

＃このコメントと同一内容を間違って別の回答として投稿してしまいました．（削除リクエスト済み）

[snake207]

オプティカルフローを使って、ボールを追跡するということでしょうか？

[fana]

ざっくり言うと，（背景差分が候補に挙がるようなシーンなのであれば）求めたオプティカルフローを可視化（例えば真っ黒な画像上に白線で描画とか）しただけの映像を眺めたら「これがボール(の動き)なんじゃないの？」っていうのがわかるんじゃないかな？　みたいな．
もしそうであれば，あとはその特徴(の他物体との違い)をどうにかしてコードで表せば検出できるかな，と．
必要であれば追跡も可能でしょう．

[snake207]

「ボールの特徴を最終的にコードで表せば検出できるのでは」ということですか？

[fana]

場においてボールの動きというのが他の物の動きとは明らかに異なるということが"あるのならば"，
映像の動きに着目したらボールが判別できるのでは？　という話をしているだけです．

もし時間（とわずかな労力）を割くことができるのなら，実際にフローを可視化した映像を作って見てみると良いかもしれません．
例えば，（検索して適当に見つけたやつですが）
https://www.youtube.com/watch?v=Tqf2EzG0djQ
みたいな感じのを．

[snake207]

分かりました、一度実際にフローを可視化するプログラムを作成しようと思います。
わざわざ、参考になるものを見つけていただき、ありがとうございます。