動画からフレームデータを取得しながら、蓄積したデータに対して同時に処理したい

Question

python,jupyter labを用いてカメラデータの処理の勉強をしています。
カメラから取得したフレーム情報をリストに格納していき、処理を行いたいのですが、
フレームを格納したリストに画像などの処理を行っている時間動画の表示やデータの蓄積が止まってしまいます。
画像表示や蓄積を止めずに同時に蓄積したフレームデータを処理する方法はありますでしょうか。

何かアドバイスをいただけますと幸いです。よろしくお願いします。

以下　使用しているプログラムです。

import numpy as np
import cv2
import matplotlib.pyplot as plt
import time
#カメラを設定
cap = cv2.VideoCapture(0)
frame_width = int(cap.get(3))
frame_height = int(cap.get(4))

#mp4で保存するため、以下を設定
out = cv2.VideoWriter('test_.mp4',cv2.VideoWriter_fourcc('M','P','4','V'), 30, (frame_width,frame_height))


count=0
frames_list=[]
#---------------------------------
while(True):
    ret, frame = cap.read()
    if ret == True: 

        # Write the frame into the file 'output.avi'
        #out.write(frame)
    
        # Display the resulting frame    
        cv2.imshow('frame',frame)
    
        #-----------------------------------------------------------------
        #50フレーム格納すると処理を行うプログラムを実行する。
        frames_list.append(frame)
        count = count + 1
        if count == 50:
            
            print("150フレーム分取得,predict開始")
            time_sta=time.time()  #時間を計測する
            frames_extracted=np.array(frames_list)
            
            #------------------------------------------
            #ここで取得したframe_listに対して並列処理を行いたいです。
            #------------------------------------------


            #処理が終了したため、frames_listを空にする
            frames_list=[]
            print("listを空にしました",len(frames_list))
            #countを0に戻す
            count=0
        
        # Press Q on keyboard to stop recording
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

      # Break the loop
    else:
        break 

# When everything done, release the video capture and video write objects
cap.release()
out.release()

# Closes all the frames
cv2.destroyAllWindows() 

Answer 1

threadを使うのが良いと思います。
今あるカメラからのデータ取得をメインスレッドにして、データを裁く部分を子スレッドにするイメージです。

ただ、処理速度が「データ蓄積>データ処理」だと思いますので、

• タイマーか何かを使って一定時間ごとに抜き取りでデータ処理する
• 子スレッドが片付いたら次のデータを裁く

のようなことをしないとメモリがどんどん膨れ上がると思いますのでご注意ください。

Comments

[yohehe]

返信ありがとうございます。threadという手法を調べて試してみています。
確かに今のままだとデータ量が蓄積されるスピードが早すぎるため、処理が追いつかなくなってしまいます。
ご指摘ありがとうございます。