計算時間が非常に長いのを改善したい

Question

ある表面の動画を20秒とって、その20秒の動画の標準偏差をpixel by pixelでplotする

# -*- coding: utf-8 -*-
import cv2
import matplotlib.pyplot as plt
from numpy import *
import pandas as pd
from scipy import signal

video_path = "2cropcut.mkv"
cap = cv2.VideoCapture(video_path)

count = cap.get(cv2.CAP_PROP_FRAME_COUNT)
fps = cap.get(cv2.CAP_PROP_FPS)

width = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
height = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)
print(width)
print(height)

numS=raw_input("start frame:  ")
numS=int(numS)

numE=raw_input("end frame:  ")
numE=int(numE)
#numE=count
print(numE)

# 場所を決める
#点滅の場所
x1min=raw_input("点滅1左上のx座標:")
y1min=raw_input("点滅1左上のy座標:")
x1max=raw_input("点滅1右下のx座標:")
y1max=raw_input("点滅1右下のy座標:")

X1min=int(x1min)
Y1min=int(y1min)
X1max=int(x1max)
Y1max=int(y1max)



#ノイズの場所
xnoisemin=raw_input("左上ノイズx座標:")
ynoisemin=raw_input("左上ノイズy座標:")
xnoisemax=raw_input("右下ノイズx座標:")
ynoisemax=raw_input("右下ノイズy座標:")

Xnoisemin=int(xnoisemin)
Ynoisemin=int(ynoisemin)
Xnoisemax=int(xnoisemax)
Ynoisemax=int(ynoisemax)

# フレーム [numS,numE] の範囲で各フレームの [ymin, ymax]x[xmin, xmax] の画素の平均を計算する。
frame_no = arange(numS,numE)
intensity1 = []
intensity2=[]
intensity3=[]
intensitynoise=[]
sdMap=zeros((Y1max-Y1min,X1max-X1min)) # the standard deviation MAP
totFrames=(Y1max-Y1min)*(X1max-X1min)
import time as t
XX=range(X1min,X1max)
YY=range(Y1min,Y1max)
print("XX:",XX)
print("YY:",YY)
for x in XX:
	for y in YY:
		print("x:%d y:%d"%(x,y))
		pixVal=[] # the pixel values for all frames!
		t0=t.time()
		for i in frame_no:
			# フレーム frame_no を取得する。
			cap.set(cv2.CAP_PROP_POS_FRAMES, i)
			ret, frame = cap.read() #getFrame "i"
			if not ret:
				print('Failed to grab frame.')
				break
			pixVal=append(pixVal,frame[y,x])			
		t1=t.time() # finish time
		dt=t1-t0 # time in seconds
		est=dt*totFrames # estimated time
		sdMap[y,x]=pixVal.std()
		print("filled x=%d y=%d sd=%4.2g Est: %d"%(x,y,pixVal.std(),est))
    

tPoints=arange(len(intensity1))*(1/fps)
plt.grid(True)
plt.xlim(X1min,X1max)#開始時間、終了時間の設定
plt.ylim(Y1min,Y1max)
plt.pcolor(sdMap,cmap="RdBu")
plt.colorbar()
plt.title("standard deviation Map")
plt.show()

例えばフレーム数を5にしてこの5フレームの標準偏差をplotすると以下のようにplotされます

5フレームで測定すると測定時間が30秒ほどかかりますが、20秒の動画（約900フレーム）を測定すると１日ほどかかります。また測定領域を広くしても読み込むピクセルが大きくなるので測定時間も大幅に大きくなります。
このような問題を改善するために何かよいコマンドなどは存在するのでしょうか？何か知っている方いらっしゃいましたら教えてください。よろしくお願いします

Answer 1

for x in XX:
    for y in YY:
...

Python でこのような for ループを書いてしまうと、かなり遅くなってしまうので、for 文は極力書かないようにしてください。
numpy を使うと、Vectorization により一度に計算できるため、基本的に for 文を書く必要はないはずです。

動画が数十秒の長さであれば、1GBぐらいメモリに空きがあれば、すべてメモリに展開することが可能ですので、先に動画の全フレームをすべて読みこんで (フレーム数, 高さ, 幅, 3) の numpy 配列を作成してから、numpy.std() 関数で一度に計算しましょう。

サンプルコード

import cv2
import matplotlib.pyplot as plt
import numpy as np

cap = cv2.VideoCapture("vtest.avi")

# 先に全フレームを読み込む。
frames = []
while True:
    ret, frame = cap.read()
    if not ret:
        break

    frames.append(frame)

frames = np.array(frames)
print(frames.shape)  # (795, 576, 768, 3)

size_mb = frames.nbytes / 1000000
print(f"{size_mb:.2f} MB")  # 1055.05 MB

# 各ピクセルごとに全フレームの標準偏差を計算する。
std = frames.std(axis=(0, 3))

# ヒートマップで描画する。
fig, ax = plt.subplots()
ax.imshow(std)

plt.show()

追記

800×800だとメモリーエラーとなります。

標準偏差を計算するのに必要なのは、各画素の和と自乗和だけなので、以下のようにすることでフレームの長さに関わらず、使用するメモリ量を固定できます。

標準偏差は分散の平方根なので、分散を以下の分散公式で求めればよいです。
式の導出はネット上に沢山情報があるので省略します。

分散の意味と求め方、分散公式の使い方

import cv2
import matplotlib.pyplot as plt
import numpy as np

cap = cv2.VideoCapture("vtest.avi")

w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))  # フレームの幅
h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))  # フレームの高さ
num_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))  # フレーム数

frame_sum = np.zeros((h, w))  # 各画素の和を格納する配列
frame_squared_sum = np.zeros((h, w))  # 各画素の平方和を格納する配列

while True:
    ret, frame = cap.read()
    if not ret:
        break
    
    frame = frame.astype(float)  # uint8 -> float (uint8 型で frame**2 すると、overflow するため)
    frame_sum += frame.sum(axis=-1)  # 和を計算する。
    frame_squared_sum += (frame ** 2).sum(axis=-1)  # 自乗和を計算する。

mean = frame_sum / (num_frames * 3)
var = frame_squared_sum / (num_frames * 3) - mean ** 2
std = np.sqrt(var)

# ヒートマップで描画する。
fig, ax = plt.subplots()
ax.imshow(std)

plt.show()

追記

しかしながら出力画像を見てみると標準偏差ではないように思えます

追記した方法だと計算結果が違うというご指摘でしょうか？
一応、下記方法で最初に回答した方法 (方法1) と追記した方法 (方法2) で計算結果が一致することは確認しています。

import cv2
import numpy as np

cap = cv2.VideoCapture("vtest.avi")

# 方法1
##################################
frames = []
while True:
    ret, frame = cap.read()
    if not ret:
        break
    frames.append(frame)
frames = np.array(frames)

std1 = frames.std(axis=(0, 3))

# 方法2
##################################
cap = cv2.VideoCapture("vtest.avi")

w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))  # フレームの幅
h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))  # フレームの高さ
num_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))  # フレーム数

frame_sum = np.zeros((h, w))  # 各画素の和を格納する配列
frame_squared_sum = np.zeros((h, w))  # 各画素の平方和を格納する配列

while True:
    ret, frame = cap.read()
    if not ret:
        break
    frame = frame.astype(float)  # uint8 -> float (uint8 型で frame**2 すると、overflow するため)
    frame_sum += frame.sum(axis=-1)  # 和を計算する。
    frame_squared_sum += (frame ** 2).sum(axis=-1)  # 自乗和を計算する。

mean = frame_sum / (num_frames * 3)
var = frame_squared_sum / (num_frames * 3) - mean ** 2
std2 = np.sqrt(var)

##################################
# 方法1 と 方法2 の計算結果が一致することを確認
print(np.allclose(std1, std2))  # True

30秒の動画があってR+G+B/3が大きいところほど強度が高いです（赤です）
しかしながら全体的に強度の変化もないので標準偏差は小さくなるはずです(青になる）

import matplotlib.pyplot as plt

# ヒートマップで描画する。
fig, ax = plt.subplots()
img = ax.imshow(std)
fig.colorbar(img)

plt.show()

標準偏差が高い = 赤とは限らないです。色は matplotlib で可視化した際のカラーマップをどう設定したかによります。
例えば、質問の画像だと右側のカラーバーを見る限り、標準偏差が小さいと赤、大きいと青になっています。

Comments

[退会済みユーザー]

できました。ありがとうございます。確かに計算時間は格段に早くなりましたが、800×800だとメモリーエラーとなります。

[tiitoi]

別解を追記しました。こちらの方法だとメモリエラーにならないかと思います。

[退会済みユーザー]

ありがとうございます。しかしながら出力画像を見てみると標準偏差ではないように思えます

30秒の動画があってR+G+B/3が大きいところほど強度が高いです（赤です）
しかしながら全体的に強度の変化もないので標準偏差は小さくなるはずです(青になる）

[tiitoi]

追記しましたが、matplotlib のカラーマップの問題ではないですか？質問のカラーマップだと値が小さいほど赤になります。

[退会済みユーザー]

すみません。勘違いしていました。解答ありがとうございました

Answer 2

各画素のデータを計算する毎に動画からフレームを取り出しているように見えますが，それが遅い原因だったりしませんか？
（→例えば処理対象が5フレームならば動画からのフレームのキャプチャを5回だけで済ませば早くなったりしませんか？）