python+opencvでボールの検出がしたい

Question

前提・実現したいこと

opencvでボールの座標を検出させるシステムが参考サイトにあったので動かしたいと考えています。
参考サイト
参考資料の　main.pyを実行すると以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

marimo@MacBook-Pro pythonOpevCV % python main.py
Traceback (most recent call last):
  File "main.py", line 101, in <module>
    do_grayscale(IMAGEPATH + TEMPLATEPATH)
  File "main.py", line 32, in do_grayscale
    gray = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY)
cv2.error: OpenCV(4.2.0) /Users/travis/build/skvark/opencv-python/opencv/modules/imgproc/src/color.cpp:182: error: (-215:Assertion failed) !_src.empty() in function 'cvtColor'

該当のソースコード

import glob
import re
import cv2


VIDEOPATH = "media/video/video.mp4"
IMAGEPATH = "media/image/"
TEMPLATEPATH = "template.jpeg"


def save_frames(video_path, image_dir):
    """
    動画からフレームの画像を抽出
    """
    cap = cv2.VideoCapture(video_path)
    digit = len(str(int(cap.get(cv2.CAP_PROP_FRAME_COUNT))))
    n = 0
    while True:
        ret, frame = cap.read()
        if ret:
            cv2.imwrite("{}original/frame_{}.{}".format(IMAGEPATH, n, "jpeg"), frame)
            n += 1
        else:
            return


def do_grayscale(image_path):
    """
    画像をグレースケール化
    """
    img = cv2.imread(image_path)
    gray = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY)
    save_image(image_path, "gray", gray)


def do_binarization(image_path):
    """
    画像を2値化
    """
    img = cv2.imread(image_path)
    ret, img_thresh = cv2.threshold(img, 100, 255, cv2.THRESH_BINARY)
    save_image(image_path, "binary", img_thresh)


def do_backgroundsub():
    """
    背景差分を行う
    """
    img_list = glob.glob(IMAGEPATH + "binary/frame*.jpeg")
    num = lambda val: int(re.sub("\D","",val))
    sorted(img_list,key=(num))
    source = img_list[0]
    for path in img_list:
        diff = cv2.absdiff(cv2.imread(source),cv2.imread(path))
        source = path
        save_image(path, "bgsub", diff)


def do_template_matching():
    """
    テンプレート画像とフレーム画像でテンプレートマッチングを行う
    """
    template_img = cv2.imread(IMAGEPATH + "binary/" + TEMPLATEPATH)
    img_list = glob.glob(IMAGEPATH + "bgsub/frame*.jpeg")
    num = lambda val: int(re.sub("\D","",val))
    sorted(img_list,key=(num))
    location_list = []
    for path in img_list:
        result = cv2.matchTemplate(cv2.imread(path), template_img, cv2.TM_CCOEFF)
        minVal, maxVal, minLoc, maxLoc = cv2.minMaxLoc(result)
        location_list.append(maxLoc)
    return location_list

def draw_rectangle(location_list):
    """
    マッチング結果を画像に描画する
    """
    source = cv2.imread(IMAGEPATH + "original/frame_0.jpeg")
    cv2.imwrite(IMAGEPATH + "result.jpeg",source)
    source = cv2.imread(IMAGEPATH + "result.jpeg")
    for loc in location_list:
        lx, ly, rx, ry = loc[0] - 10, loc[1] - 10, loc[0] + 10, loc[1] + 10
        img = cv2.rectangle(source, (lx, ly), (rx, ry), (0, 255, 0), 3)
        cv2.imwrite(IMAGEPATH + "result.jpeg",img)

def save_image(img_path, dir, img):
    """
    画像を保存する
    img_path : 画像のパス
    dir : ディレクトリ名
    img : 画像データ
    """
    file_name = img_path.replace("\","/").split(".")[0].split("/")[-1]
    cv2.imwrite("{}{}/{}.{}".format(IMAGEPATH, dir, file_name,"jpeg"), img)


if __name__=="__main__":
    # ①動画をフレームごとに分割
    save_frames(VIDEOPATH,IMAGEPATH)
    # ②テンプレート画像とフレーム画像をグレースケール化
    do_grayscale(IMAGEPATH + TEMPLATEPATH)
    for path in glob.glob(IMAGEPATH + "original/*.jpeg"):
        do_grayscale(path)
    # ③テンプレート画像とフレーム画像の2値化
    for path in glob.glob(IMAGEPATH + "gray/*.jpeg"):
        do_binarization(path)
    # ④背景差分を行う
    do_backgroundsub()
    # ⑤テンプレートマッチングを行う
    location_list = do_template_matching()
    # ⑥マッチングした座標を投影
    draw_rectangle(location_list)

試したこと

絶対パスと相対パスの両方を試しましたがエラー内容は変わりませんでした。
また適当なパスを指定してもエラー文は変わりませんでした。

補足情報（FW/ツールのバージョンなど）

Python : 3.8.0
opencv : opencv-python 4.2.0.34

Comments

[8524ba23]

template.jpegの絶対パスを記載ください。
また、絶対パスを試したときのコードの変更内容（どの部分をどのように変えたのか）を記載ください。

[marakasu]

回答ありがとうございます。
media/image/template.jpegに配置したところ従来のエラーではない別のエラーが発生しました。
Traceback (most recent call last):
File "main.py", line 108, in <module>
do_backgroundsub()
File "main.py", line 52, in do_backgroundsub
source = img_list[0]
IndexError: list index out of range
anzairui@anzairuinoMacBook-Pro pythonOpevCV % python main.py
Traceback (most recent call last):
File "main.py", line 108, in <module>
do_backgroundsub()
File "main.py", line 52, in do_backgroundsub
source = img_list[0]
IndexError: list index out of range
絶対パスを試したときのコードの変更内容の追記いたします。

Answer 1

参考サイトには記載されていないようですがIMAGEPATH の下にbinaryなどのディレクトリを事前に作成、用意しておく必要があります。
事前作成すべきディレクトリはコードを読めば明らかかと思います。

Answer 2

media/image/template.jpegを読み込めていません。
ファイルの存在場所を確認してください。

Comments

[marakasu]

回答ありがとうございます。
media/image/template.jpegに配置したところ新たなエラーが発生しました。
Traceback (most recent call last):
File "main.py", line 108, in <module>
do_backgroundsub()
File "main.py", line 52, in do_backgroundsub
source = img_list[0]
IndexError: list index out of range
anzairui@anzairuinoMacBook-Pro pythonOpevCV % python main.py
Traceback (most recent call last):
File "main.py", line 108, in <module>
do_backgroundsub()
File "main.py", line 52, in do_backgroundsub
source = img_list[0]
IndexError: list index out of range

[SHOMI]

media/image/binary/frame*.jpeg
が生成されていないだけでは？

[marakasu]

初歩的な質問で申し訳ないのですがmedia/image/binary/frame*.jpegはどうすれば生成されるのでしょうか...

[SHOMI]

media/video/video.mp4はあるのでしょうか。
media/video/video.mp4を読み込んで、各フレームをmedia/image/original/frame_*.jpegに保存
media/image/original/frame_*.jpegを読み込んで、グレースケール化した画像をmedia/image/gray/frame_*.jpegに保存
media/image/gray/frame_*.jpegを読み込んで、2値化した画像をmedia/image/binary/frame_*.jpegに保存されています。

[marakasu]

回答ありがとうございます。
media/image/以下にoriginal,gray,binaryの三つのフォルダを作ることで動作させる事ができました。
ただ背景差分とマッチングした座標を投影の出力結果がないのが気がかりです。