pythonとRealSenseを用いて動いている物体を検知する

Question

実現したいこと

Intel RealSense D435iとpythonを用いてRealSenseから得られる深度情報をもとに動いている物体を検知するプログラムを作成しようとしています．

方針

方針としては，現在のフレームと1つ前のフレームの各ピクセルの深度の差を求めて，閾値を超えたら通知するといったものを考えています．

問題

現在のフレームの深度情報を得ることはできるのですが，1つ前のフレームの深度情報を得る方法が分かりません．

該当のソースコード

ソースコードはこちらを参考にしています．
リンク内容

# -*- coding: utf-8 -*-

import pyrealsense2 as rs
import numpy as np
import cv2

# ストリーム(Depth/Color)の設定
config = rs.config()
config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 60)
config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 60)

# ストリーミング開始
pipeline = rs.pipeline()
profile = pipeline.start(config)

#   距離[m] = depth * depth_scale 
depth_sensor = profile.get_device().first_depth_sensor()
depth_scale = depth_sensor.get_depth_scale()
clipping_distance_in_meters = 10.0 # meter
clipping_distance = clipping_distance_in_meters / depth_scale

# Alignオブジェクト生成
align_to = rs.stream.color
align = rs.align(align_to)

np.set_printoptions(threshold=np.inf, precision=3)


try:
    while True:
        # フレーム待ち(Color & Depth)
        frames = pipeline.wait_for_frames()
        aligned_frames = align.process(frames)
        color_frame = aligned_frames.get_color_frame()
        depth_frame = aligned_frames.get_depth_frame()
        if not depth_frame or not color_frame:
            continue

        color_image = np.asanyarray(color_frame.get_data())
        depth_image = np.asanyarray(depth_frame.get_data())
        # Depth画像前処理(1m以内を画像化)  
        grey_color = 153
        depth_image_3d = np.dstack((depth_image,depth_image,depth_image))
        bg_removed = np.where((depth_image_3d > clipping_distance) | (depth_image_3d <= 0), grey_color, color_image)

        # 深度情報保存
        np.save("save.npy", depth_image)
        
        # レンダリング
        depth_colormap = cv2.applyColorMap(cv2.convertScaleAbs(depth_image, alpha=0.03), cv2.COLORMAP_JET)
        images = np.hstack((bg_removed, depth_colormap))
        cv2.namedWindow('Align Example', cv2.WINDOW_AUTOSIZE)
        cv2.imshow('RealSense', images)
        if cv2.waitKey(1) & 0xff == 27:
            break
            
finally:
    # ストリーミング停止
    pipeline.stop()
    cv2.destroyAllWindows()

補足情報

windows
Python 3.6.8
opencv-contrib-python 4.1.1.26
pyrealsense2 2.29.0.1124

Answer 1

1つ前のフレームの深度情報はdepth_image3dですでに得られていてそれをwhileループで回している状態なので、

        color_image = np.asanyarray(color_frame.get_data())
        depth_image = np.asanyarray(depth_frame.get_data())
        # Depth画像前処理(1m以内を画像化)  
        if tmp is not None:
           grey_color = 153
           depth_image_3d = np.dstack((depth_image,depth_image,depth_image))
           bg_removed = np.where((depth_image_3d > clipping_distance) | (depth_image_3d <= 0), grey_color, color_image)
           if np.abs(tmp - depth_image) < threshold:
             '''通知'''
　　　　　　else: 
             tmp = depth_image
       else : 
           tmp = depth_image
   
        # 深度情報保存

多分これそのまま打つとエラー起きる可能性大ですが、こんな感じで良いんじゃないでしょうか。あと個人的な意見としてget_distance() で距離とった方が良いと思います。深度は単位だったりわかりづらいところがあるのでメートル単位に変換したものの方がわかりやすいかもしれません。