質問編集履歴

タイトルの改善

2021/01/06 21:48

投稿

amos

スコア5

test CHANGED Viewed

	@@ -1 +1 @@
1	- 【Python】カスケード分類器~~による~~物体検出~~のプログラムと~~パーティクルフィルタ(粒子フィルタ)~~による~~物体追跡のプログラム~~の合成~~
1	+ 【Python】カスケード分類器で物体検出し、パーティクルフィルタ(粒子フィルタ)で物体追跡するプログラム

test CHANGED Viewed

File without changes

書式の改善

2021/01/06 21:48

投稿

amos

スコア5

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -2,23 +2,11 @@
 カスケード分類器を利用してリアルタイムでカメラで検出したい物体が写った場合、
-その物体を赤い枠で囲むプログラムとパーティクルフィルタを利用してカメラで赤い物体が写った場合、その物体を赤い枠で囲み、粒子で追跡するプログラムを作成することまで
-できました。
-この2つのプログラムをエラーすることなく動くように合成することで、
-カスケード分類器を利用してリアルタイムでカメラで検出したい物体が写った場合、
 その物体を赤い枠で囲み、パーティクルフィルタでその物体を粒子で追跡するプログラムを
-作成をしたいと考えております。私なりに合成してみた結果、次のようなプログラムでエラーが発生しました。
+作成をしたいと考えております。
-・カスケード分類器とパーティクルフィルタのプログラムを合成
 ```
@@ -30,11 +18,11 @@
 # 追跡対象
-def is_target(castom_rect):
+def is_target(roi):
+    # 定数定義
     DEVICE_ID = 0
@@ -52,9 +40,9 @@
-     # 初期フレームの読込
+    # 初期フレームの読み込み
-    end_flag, frame = cap.read()
+    ret, frame = cap.read()
     height, width, channels = frame.shape
@@ -70,17 +58,7 @@
-    #　物体検出が成功した場合、物体を長方形の赤い枠で囲む
-    if len (custom_rect) > 0:
-        for rect in custom_rect:
-            cv2.rectangle(img, tuple(rect[0:2]), tuple(rect[0:2] + rect[2:4]), (0, 0, 255), thickness = 3)
-    return custom_rect
+    return roi == custom_rect
@@ -280,31 +258,73 @@
     DEVICE_ID = 0
+    ESC_KEY = 27
+    INTERVAL = 33
-    # 動画ファイルのキャプチャ
+    # 分類器の指定
+    custom_cascade = cv2.CascadeClassifier('cascade.xml')
+    # カメラ映像取得
     cap = cv2.VideoCapture(DEVICE_ID)
-    while cv2.waitKey(30) < 0:
+    # 初期フレームの読み込み
-        ret, frame = cap.read()
+    ret, frame = cap.read()
-        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV_FULL)
+    hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV_FULL)
-        h = hsv[:, :, 0]
+    h = hsv[:, :, 0]
+    # ウィンドウの準備
+    cv2.namedWindow('Result')
-        # S, Vを2値化
+    # S, Vを2値化
-        ret, s = cv2.threshold(hsv[:, :, 1], 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)
+    ret, s = cv2.threshold(hsv[:, :, 1], 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)
-        ret, v = cv2.threshold(hsv[:, :, 2], 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)
+    ret, v = cv2.threshold(hsv[:, :, 2], 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)
-        h[(s == 0) | (v == 0)] = 100
+    h[(s == 0) | (v == 0)] = 100
+     # 変換処理ループ
+    while ret == True:
+        # 画像の取得と顔の検出
+        img = frame
+        graying = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
+        custom_rect = custom_cascade.detectMultiScale(graying, scaleFactor = 1.07, minNeighbors = 2, minSize = (1, 1))
+        #　物体検出が成功した場合、物体を長方形の赤い枠で囲む
+        if len (custom_rect) > 0:
+            for rect in custom_rect:
+                cv2.rectangle(img, tuple(rect[0:2]), tuple(rect[0:2] + rect[2:4]), (0, 0, 255), thickness = 3)
@@ -332,18 +352,28 @@
             frame[int(ps1[i, 1]), int(ps1[i, 0])] = [0, 0, 200]
-        # パーティクルの集中部分を赤い矩形で囲む
-        cv2.rectangle(frame, (x - 20, y - 20), (x + 20, y + 20), (0, 0, 200), 5)
         cv2.imshow('Result', frame)
+        # Escキーで終了
+        key = cv2.waitKey(INTERVAL)
+        if key == ESC_KEY:
+            break
+        # 次のフレーム読み込み
+        end_flag, c_frame = cap.read()
     cap.release()
     cv2.destroyAllWindows()
@@ -356,18 +386,6 @@
 ```
-**・エラー**
-count = roi[is_target(roi)].size
+しかし、このプログラムを実行すると、エラーはでないのですが、何も起こりません。
-: index 248 is out of bounds for axis 0 with size 30
-どなたかお力添えのほう宜しくお願い申し上げます。
+どなたかお力添えのほうよろしくお願い申し上げます。

2021/01/06 21:47

投稿

amos

スコア5

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -18,7 +18,7 @@
-③ カスケード分類器とパーティクルフィルタのプログラムを合成
+・カスケード分類器とパーティクルフィルタのプログラムを合成
 ```
@@ -370,4 +370,4 @@
-どなたかお力添えの方宜しくお願い申し上げます。
+どなたかお力添えのほう宜しくお願い申し上げます。

書式の改善

2021/01/06 10:47

投稿

amos

スコア5

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -4,39 +4,35 @@
 その物体を赤い枠で囲むプログラムとパーティクルフィルタを利用してカメラで赤い物体が写った場合、その物体を赤い枠で囲み、粒子で追跡するプログラムを作成することまで
+できました。
-できました。この2つのプログラムをエラーすることなく動くように合成することで、
+この2つのプログラムをエラーすることなく動くように合成することで、
 カスケード分類器を利用してリアルタイムでカメラで検出したい物体が写った場合、
 その物体を赤い枠で囲み、パーティクルフィルタでその物体を粒子で追跡するプログラムを
-作成をしたいと考えております。どなたかお力添えをお願い申し上げます。
+作成をしたいと考えております。私なりに合成してみた結果、次のようなプログラムでエラーが発生しました。
-**① カスケード分類器を利用してリアルタイムでカメラで物体検出をするプログラム**
+③ カスケード分類器とパーティクルフィルタのプログラムを合成
+```
-import cv2
+import cv2
-if __name__ == '__main__':
-    __# 定数定義__
-    ESC_KEY = 27
-    INTERVAL = 33
-    FRAME_RATE = 30
+import numpy as np
+# 追跡対象
-    ORG_WINDOW_NAME = "org"
+def is_target(castom_rect):
@@ -44,380 +40,334 @@
-    __# 分類器の指定__
+    # 分類器の指定
     custom_cascade = cv2.CascadeClassifier('cascade.xml')
-    __# カメラ映像取得__
+    # カメラ映像取得
     cap = cv2.VideoCapture(DEVICE_ID)
-    __# 初期フレームの読込__
+     # 初期フレームの読込
-    end_flag, c_frame = cap.read()
+    end_flag, frame = cap.read()
-    height, width, channels = c_frame.shape
+    height, width, channels = frame.shape
-    __# ウィンドウの準備__
-    cv2.namedWindow(ORG_WINDOW_NAME)
-    __# 変換処理ループ__
-    while end_flag == True:
-        __# 画像の取得と顔の検出__
+    # 画像の取得と顔の検出
-        img = c_frame
+    img = frame
-        graying = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
+    graying = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
-        custom_rect = custom_cascade.detectMultiScale(graying, scaleFactor = 1.07, minNeighbors = 2, minSize = (1, 1))
+    custom_rect = custom_cascade.detectMultiScale(graying, scaleFactor = 1.07, minNeighbors = 2, minSize = (1, 1))
-        __# 物体検出が成功した場合、物体を長方形の赤い枠で囲む__
+    #　物体検出が成功した場合、物体を長方形の赤い枠で囲む
-        if len (custom_rect) > 0:
+    if len (custom_rect) > 0:
-            for rect in custom_rect:
+        for rect in custom_rect:
-                cv2.rectangle(img, tuple(rect[0:2]), tuple(rect[0:2] + rect[2:4]), (0, 0, 255), thickness = 3)
+            cv2.rectangle(img, tuple(rect[0:2]), tuple(rect[0:2] + rect[2:4]), (0, 0, 255), thickness = 3)
-        __# フレーム表示__
-        cv2.imshow(ORG_WINDOW_NAME, c_frame)
-        __# Escキーで終了
-__        key = cv2.waitKey(INTERVAL)
-        if key == ESC_KEY:
-            break
-        __# 次のフレーム読み込み__
-        end_flag, c_frame = cap.read()
-    __# 終了処理
-__    cv2.destroyAllWindows()
+    return custom_rect
+# マスクから面積最大ブロブの中心座標を算出
+def max_moment_point(mask):
+    # ラベリング処理
+    label = cv2.connectedComponentsWithStats(mask)
+    data = np.delete(label[2], 0, 0)   # ブロブのデータ
+    center = np.delete(label[3], 0, 0) # 各ブロブの中心座標
+    moment = data[:, 4]                # 各ブロブの面積
+    max_index = np.argmax(moment)      # 面積最大のインデックス
+    return center[max_index]           # 面積最大のブロブの中心座標
+# パーティクルの初期化
+def initialize(img, N):
+    mask = img.copy()                           # 画像のコピー
+    x, y = max_moment_point(mask)               # マスクから面積最大ブロブの中心座標を算出
+    w = calc_likelihood(x, y, img)              # 尤度の算出
+    ps = np.ndarray((N, 3), dtype = np.float32) # パーティクル格納用の配列を生成
+    ps[:] = [x, y, w]                           # パーティクル用配列に中心座標と尤度をセット
+    return ps
+# リサンプリング
+def resampling(ps):
+    # 累積重みの計算
+    ws = ps[:, 2].cumsum()
+    last_w = ws[ws.shape[0] - 1]
+    # 新しいパーティクル用の空配列を生成
+    new_ps = np.empty(ps.shape)
+    # 前状態の重みに応じてパーティクルをリサンプリング (重みは1.0)
+    for i in range(ps.shape[0]):
+        w = np.random.rand() * last_w
+        new_ps[i] = ps[(ws > w).argmax()]
+        new_ps[i, 2] = 1.0
+    return new_ps
+# 推定
+def predict_position(ps, var = 13.0):
+    # 分散に従ってランダムに少し位置をずらす
+    ps[:, 0] += np.random.randn((ps.shape[0])) * var
+    ps[:, 1] += np.random.randn((ps.shape[0])) * var
+# 尤度の算出
+def calc_likelihood(x, y, img, w = 30, h = 30):
+    # 画像から座標(x, y)を中心とする幅 w, 高さ hの矩形領域の全画素を取得
+    x1, y1 = max(0, x - w/2), max(0, y - h/2)
+    x2, y2 = min(img.shape[1], x + w/2), min(img.shape[0], y + h/2)
+    x1, y1, x2, y2 = int(x1), int(y1), int(x2), int(y2)
+    roi = img[y1:y2, x1:x2]
+    # 矩形領域中に含まれる追跡対象(色)の存在率を尤度として計算
+    count = roi[is_target(roi)].size
+    return (float(count) / img.size) if count > 0 else 0.0001
+# パーティクルの重み付け
+def calc_weight(ps, img):
+    # 尤度に従ってパーティクルの重み付け
+    for i in range(ps.shape[0]):
+        ps[i][2] = calc_likelihood(ps[i, 0], ps[i, 1], img)
+    # 重みの正規化
+    ps[:, 2] *= ps.shape[0] / ps[:, 2].sum()
+# 観測
+def observer(ps, img):
+    # パーティクルの重み付け
+    calc_weight(ps, img)
+    # 重み和の計算
+    x = (ps[:, 0] * ps[:, 2]).sum()
+    y = (ps[:, 1] * ps[:, 2]).sum()
+    # 重み付き平均を返す
+    return (x, y) / ps[:, 2].sum()
+# パーティクルフィルタ
+def particle_filter(ps, img, N = 300):
+    # パーティクルが無い場合
+    if ps is None:
+        ps = initialize(img, N) # パーティクルを初期化
+    ps = resampling(ps)       # リサンプリング
+    predict_position(ps)      # 推定
+    x, y = observer(ps, img)  # 観測
+    return ps, int(x), int(y)
+def main():
+    # パーティクル格納用の変数
+    ps = None
+    DEVICE_ID = 0
+    # 動画ファイルのキャプチャ
+    cap = cv2.VideoCapture(DEVICE_ID)
+    while cv2.waitKey(30) < 0:
+        ret, frame = cap.read()
+        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV_FULL)
+        h = hsv[:, :, 0]
+        # S, Vを2値化
+        ret, s = cv2.threshold(hsv[:, :, 1], 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)
+        ret, v = cv2.threshold(hsv[:, :, 2], 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)
+        h[(s == 0) | (v == 0)] = 100
+        # パーティクルフィルタ
+        ps, x, y = particle_filter(ps, h, 300)
+        if ps is None:
+            continue
+        # 画像の範囲内にあるパーティクルのみ取り出し
+        ps1 = ps[(ps[:, 0] >= 0) & (ps[:, 0] < frame.shape[1]) & (ps[:, 1] >= 0) & (ps[:, 1] < frame.shape[0])]
+        # パーティクルを赤色で塗りつぶす
+        for i in range(ps1.shape[0]):
+            frame[int(ps1[i, 1]), int(ps1[i, 0])] = [0, 0, 200]
+        # パーティクルの集中部分を赤い矩形で囲む
+        cv2.rectangle(frame, (x - 20, y - 20), (x + 20, y + 20), (0, 0, 200), 5)
+        cv2.imshow('Result', frame)
     cap.release()
-**② パーティクルフィルタでカメラで赤い物体を赤い枠で囲み粒子で追跡するプログラム**
-import cv2
-import numpy as np
-__# 追跡対象の色範囲（Hueの値域）__
-def is_target(roi):
-    return (roi <= 30) | (roi >= 150)
-__# マスクから面積最大ブロブの中心座標を算出
-__def max_moment_point(mask):
-    __# ラベリング処理__
-    label = cv2.connectedComponentsWithStats(mask)
-    data = np.delete(label[2], 0, 0)   # ブロブのデータ
-    center = np.delete(label[3], 0, 0)  # 各ブロブの中心座標
-    moment = data[:, 4]                 # 各ブロブの面積
-    max_index = np.argmax(moment)      # 面積最大のインデックス
-    return center[max_index]           # 面積最大のブロブの中心座標
-__# パーティクルの初期化__
-def initialize(img, N):
-    mask = img.copy()                  # 画像のコピー
-    mask[is_target(mask) == False] = 0  # マスク画像の作成（追跡対象外の色なら画素値0）
-    x, y = max_moment_point(mask)      # マスクから面積最大ブロブの中心座標を算出
-    w = calc_likelihood(x, y, img)     # 尤度の算出
-    ps = np.ndarray((N, 3), dtype=np.float32)  # パーティクル格納用の配列を生成
-    ps[:] = [x, y, w]                  # パーティクル用配列に中心座標と尤度をセット
-    return ps
-__# 1.リサンプリング(前状態の重みに応じてパーティクルを再選定)
-__def resampling(ps):
-   __ # 累積重みの計算
-__    ws = ps[:, 2].cumsum()
-    last_w = ws[ws.shape[0] - 1]
-    __# 新しいパーティクル用の空配列を生成__
-    new_ps = np.empty(ps.shape)
-    __# 前状態の重みに応じてパーティクルをリサンプリング（重みは1.0）__
-    for i in range(ps.shape[0]):
-        w = np.random.rand() * last_w
-        new_ps[i] = ps[(ws > w).argmax()]
-        new_ps[i, 2] = 1.0
-    return new_ps
-__# 2.推定（パーティクルの位置）
-__def predict_position(ps, var=13.0):
-    __# 分散に従ってランダムに少し位置をずらす__
-    ps[:, 0] += np.random.randn((ps.shape[0])) * var
-    ps[:, 1] += np.random.randn((ps.shape[0])) * var
-__# 尤度の算出
-__def calc_likelihood(x, y, img, w=30, h=30):
-    __# 画像から座標(x,y)を中心とする幅w, 高さhの矩形領域の全画素を取得
-__    x1, y1 = max(0, x-w/2), max(0, y-h/2)
-    x2, y2 = min(img.shape[1], x+w/2), min(img.shape[0], y+h/2)
-    x1, y1, x2, y2 = int(x1), int(y1), int(x2), int(y2)
-    roi = img[y1:y2, x1:x2]
-    __# 矩形領域中に含まれる追跡対象(色)の存在率を尤度として計算__
-    count = roi[is_target(roi)].size
-    return (float(count) / img.size) if count > 0 else 0.0001
-__# パーティクルの重み付け__
-def calc_weight(ps, img):
-    __# 尤度に従ってパーティクルの重み付け
-__    for i in range(ps.shape[0]):
-        ps[i][2] = calc_likelihood(ps[i, 0], ps[i, 1], img)
-    __# 重みの正規化__
-    ps[:, 2] *= ps.shape[0] / ps[:, 2].sum()
-__# 3.観測（全パーティクルの重み付き平均を取得）__
-def observer(ps, img):
-    __# パーティクルの重み付け
-__    calc_weight(ps, img)
-    __# 重み和の計算
-__    x = (ps[:, 0] * ps[:, 2]).sum()
-    y = (ps[:, 1] * ps[:, 2]).sum()
-    __# 重み付き平均を返す
-__    return (x, y) / ps[:, 2].sum()
-__# パーティクルフィルタ__
-def particle_filter(ps, img, N=300):
-    __# パーティクルが無い場合__
-    if ps is None:
-        ps = initialize(img, N)  # パーティクルを初期化
-    ps = resampling(ps)    # 1.リサンプリング
-    predict_position(ps)   # 2.推定
-    x, y = observer(ps, img)  # 3.観測
-    return ps, int(x), int(y)
-def main():
-    __# パーティクル格納用の変数__
-    ps = None
-    __# 動画ファイルのキャプチャ__
-    cap = cv2.VideoCapture("C:/github/sample/python/opencv/dataset/videos/red_marker.mp4")
-    while cv2.waitKey(30) < 0:
-        ret, frame = cap.read()
-        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV_FULL)
-        h = hsv[:, :, 0]
-        __# S, Vを2値化（大津の手法）__
-        ret, s = cv2.threshold(hsv[:, :, 1], 0, 255,
-                               cv2.THRESH_BINARY | cv2.THRESH_OTSU)
-        ret, v = cv2.threshold(hsv[:, :, 2], 0, 255,
-                               cv2.THRESH_BINARY | cv2.THRESH_OTSU)
-        h[(s == 0) | (v == 0)] = 100
-        __# パーティクルフィルタ__
-        ps, x, y = particle_filter(ps, h, 300)
-        if ps is None:
-            continue
-        __# 画像の範囲内にあるパーティクルのみ取り出し__
-        ps1 = ps[(ps[:, 0] >= 0) & (ps[:, 0] < frame.shape[1]) &
-                 (ps[:, 1] >= 0) & (ps[:, 1] < frame.shape[0])]
-        __# パーティクルを赤色で塗りつぶす__
-        for i in range(ps1.shape[0]):
-            frame[int(ps1[i, 1]), int(ps1[i, 0])] = [0, 0, 200]
-        __# パーティクルの集中部分を赤い矩形で囲む__
-        cv2.rectangle(frame, (x-20, y-20), (x+20, y+20), (0, 0, 200), 5)
-        cv2.imshow('Result', frame)
-    cap.release()
     cv2.destroyAllWindows()
 if __name__ == "__main__":
     main()
+```
+**・エラー**
+count = roi[is_target(roi)].size
+: index 248 is out of bounds for axis 0 with size 30
-長くなりました。よろしくお願い申し上げます。
+どなたかお力添えの方宜しくお願い申し上げます。

文法の修正

2021/01/06 01:13

投稿

amos

スコア5

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -417,3 +417,7 @@
 if __name__ == "__main__":
     main()
+長くなりました。よろしくお願い申し上げます。