real time plot

Question

###前提・実現したいこと
動画からテンプレートマッチングにより入力画像の中心座標を求めてそれを三角測量の式を用いてX,Y,Zを出しています。
X,Y,Zを求める計算と同じタイミングでグラフにプロットされるようにしたい。

###発生している問題・エラーメッセージ

Using default event loop until function specific to this GUI is implemented
  warnings.warn(str, mplDeprecation)

というエラーコードが出てしまいます。
###該当のソースコード

#グラフ
# グラフの初期化
def init_plot(d):
    fig = plt.figure()
    ax = fig.add_subplot(111, projection='3d')

    ax.set_xlabel("X-axis")
    ax.set_ylabel("Y-axis")
    ax.set_zlabel("Z-axis")
    ax.set_xlim(-30, 30)
    ax.set_ylim(-40, 20)
    ax.set_zlim(100, 200)

    # 最初に描画データを与えておく必要あり
    l1, = ax.plot(d[:,0], d[:,1], d[:,2], "o", color="g", ms=16, mew=0.5) # 初期データ用
    l2, = ax.plot([0], [0], [0], "x", color="r", ms=8, mew=0.5)           # 追加データ用 初回はダミーをセット
    return l1,l2 # 呼出元で利用

# グラフの描画更新
def update_plot(lines,d):
    lines.set_data(d[:,0],d[:,1])   # x,y
    lines.set_3d_properties(d[:,2]) # z
    plt.pause(.01)

if __name__ == "__main__":

    # 最初から表示するデータ
    d = genfromtxt("Planned.csv", delimiter=",")

    # グラフの初期化
    l1,l2 = init_plot(d) # l1=初期データ, l2=追加データ用
    update_plot(l1,d)

    time.sleep(1)

    # データ追加し描画更新
    a = np.array([[X,Y,Z]]) # 追加データ
    update_plot(l2,a)

    time.sleep(1)

    # ループで追加
    for i in range(113):
        a = np.vstack((a,[X,Y,Z]))
        update_plot(l2,a)

        time.sleep(0.5)

    # 最後に確認表示できるように
    plt.show()

#	テンプレート画像読み込み
img_obj = cv2.imread('1027.jpg', cv2.IMREAD_COLOR)

if img_obj is None:								#	テンプレート画像が取得できない場合
	print u'画像が取得できません。'
	sys.exit()
 
#	映像取得（カメラ映像）
src = cv2.VideoCapture('0deg_10fps_x20 ver3.avi')

if not src.isOpened():								#	カメラ映像が取得できない場合
	print u'映像が取得できません。'
	sys.exit()

retval, frame = src.read()
height1, width1, channels1 = img_obj.shape
height2, width2, channels2 = frame.shape
		
rec = cv2.VideoWriter('0deg_10fps_x20 改.avi', cv.CV_FOURCC('X','V','I','D'), 6, (width2, height2))

f = open('result.csv', 'ab') #csvファイルが無ければ作る、の'a'を指定します

csvWriter = csv.writer(f) 
val = 0

while True:

	retval, frame = src.read()        #	1フレーム取得
        
        if frame is None:
		break
                
	#	テンプレート・マッチングにより相互相関係数を計算
	img_ccoeff1 = cv2.matchTemplate(frame, img_obj, cv2.TM_CCOEFF_NORMED)
	
	#	[-1, 1] を [0, 1] へ
	cv2.normalize(img_ccoeff1,img_ccoeff1, 0, 1, cv2.NORM_MINMAX)

	#	相互相関係数の最小値・最大値とその座標を抽出
	cMin, cMax, pMin, pMax1 = cv2.minMaxLoc(img_ccoeff1)

	#	検出領域の中心座標
	detect = (pMax1[0] + width1/2, pMax1[1] + height1/2)
再追記終わり        
        
        x = pMax1[0] + width1/2, pMax1[1] + height1/2
        
        x1 = (((round(((pMax1[0] + width1/2)-385)*0.327,2))), (round(((pMax1[1] + height1/2)-290)*0.327,2)))
        x2 = (round(((pMax1[0] + width1/2)-385)*0.327,2))
        y2 = (round(((pMax1[1] + height1/2)-290)*0.327,2))
        
         
        a = np.array([x2,y2])
    
        text1 = "" + str(x1) + ""
        text2 = "" + str(x2) + ""
        text3 = "" + str(y2) + ""
       
        cv2.putText(frame, text1, ((pMax1[0] + width1/2)-65, (pMax1[1] + height1/2)-30), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0, 255, 0), 2, cv2.CV_AA)
        cv2.putText(frame, "L1", ((pMax1[0] + width1/2)-70, (pMax1[1] + height1/2)-60), cv2.FONT_HERSHEY_COMPLEX, 0.7, (0, 255, 0), 2, cv2.CV_AA)         
      
             
        #	探索画像から検出領域を抽出
	img_crop = frame[pMax1[1]:pMax1[1]+height1, pMax1[0]:pMax1[0]+width1].copy() 

	#	検出領域に赤色の円と十字を描画
	cv2.circle(frame, detect, width1/2, (0, 0, 255), 1)
        cv2.line(frame,((pMax1[0] + width1/2) - 25, pMax1[1] + height1/2), ((pMax1[0] + width1/2) + 25 , pMax1[1] + height1/2), (0, 0, 255), 1)
        cv2.line(frame,((pMax1[0] + width1/2), (pMax1[1] + height1/2 )-25), ((pMax1[0] + width1/2), (pMax1[1] + height1/2) + 25), (0, 0, 255), 1)
	
        x1 = (((round(((pMax1[0] + width1/2)-385)*0.327,2))), (round(((pMax1[1] + height1/2)-290)*0.327,2)))
        x2 = (round(((pMax1[0] + width1/2)-385)*0.327,2))
        y2 = (round(((pMax1[1] + height1/2)-290)*0.327,2))

        y1 = (round(((pMax2[0] + width1/2)-385)*0.327,2), round(((pMax2[1] + height1/2)-290)*0.327,2))
        x3 = (round(((pMax2[0] + width1/2)-385)*0.327,2))
        y3 = (round(((pMax2[1] + height1/2)-290)*0.327,2))
     
        X = (round((50/(l-50))*((x2 + x3)/2),2))
        Y = (round((50/(l-50))*((y2 + y3)/2),2))
        Z = ((round(50/(l-50)*213,2)))

追記

このX,Y,Zをax1(X,Y,Z),ax2(X,Y),ax3(Y,Z)にプロットしたいです。

###試したこと
matplotlibでリアルタイム描画を参考にしてコードを考えてみましたが上手くいきませんでした。
URL先ではsin関数を描画していますが、散布図でプロットしたいです。

###補足情報(言語/FW/ツール等のバージョンなど)
windows10,python2.7,matplotlib,spyder

Answer 1

plt.pause()でリアルタイムに描画できるようです。
以下のページに具体的なサンプルコードが載っています。
参考：
matplotlibでリアルタイム描画
Python+Matplotlibでプロットアニメーションを作成する

以下は３次元散布図に初期データを表示し、任意のタイミングで別データとして座標を追加し、描画更新する例です。

import numpy as np
from matplotlib import pyplot as plt
from mpl_toolkits.mplot3d.axes3d import Axes3D
import time

# グラフの初期化
def init_plot(d):
    fig = plt.figure()
    ax = fig.add_subplot(111, projection='3d')

    ax.set_xlabel("X-axis")
    ax.set_ylabel("Y-axis")
    ax.set_zlabel("Z-axis")
    ax.set_xlim(-30, 30)
    ax.set_ylim(-40, 20)
    ax.set_zlim(-30, 20)

    # 最初に描画データを与えておく必要あり
    l1, = ax.plot(d[:,0], d[:,1], d[:,2], "o", color="g", ms=16, mew=0.5) # 初期データ用
    l2, = ax.plot([0], [0], [0], "o", color="b", ms=8, mew=0.5)           # 追加データ用 初回はダミーをセット
    return l1,l2 # 呼出元で利用

# グラフの描画更新
def update_plot(lines,d):
    lines.set_data(d[:,0],d[:,1])   # x,y
    lines.set_3d_properties(d[:,2]) # z
    plt.pause(.01)

if __name__ == "__main__":

    # 最初から表示するデータ
    d = np.array([[-20,-30,-20],[20,-30,-20]])

    # グラフの初期化
    l1,l2 = init_plot(d) # l1=初期データ, l2=追加データ用
    update_plot(l1,d)

    time.sleep(1)

    # データ追加し描画更新
    a = np.array([[-20,10,0]]) # 追加データ
    update_plot(l2,a)

    time.sleep(1)

    # ループで追加
    for i in range(0,10):
        a = np.vstack((a,[i,i,2*i]))
        update_plot(l2,a)

        time.sleep(0.5)

    # 最後に確認表示できるように
    plt.show()

Comments

[Penefax]

ご回答ありがとうございます。このサイトを参考にもう少し検討してみて、疑問点があればまた質問させていただきます。

[Penefax]

すみません、やはり、わからなかったので追記させていただきました。ご教授をお願いします。

[8524ba23]

すみません。提示されたコードの詳細を確認していませんが、具体的にどう「うまく行かない」のでしょうか？
また「X,Y,Zを求める計算」はリアルタイム描画毎に行う必要があると思いますが、コード上ではそれがないように思えます。

[Penefax]

分かりにくくて済みません。具体的には、1.X,Y,Zをリアルタイムでグラフ(1.xyzの3軸・3D、2.xy軸、3.yz軸)として表示させたいが出来ない。2.X,Y,ZをPlanned.csvが乗っているグラフにリアルタイムで乗らない。
理想としては、テンプレートマッチングが行われている動画と同時にグラフも表示されかつプロットされていくです。(result.csvに座標結果がうち込まれていくようになっています。)
「X,Y,Zを求める計算」の部分は質問文に追記させていただきました。
よろしくお願いします。

[8524ba23]

散布図にて初期データ表示＋任意のタイミングでデータ追加表示するコード例を追加しました。
最初から複雑な処理を書くと難しいので、簡単な例から試してみるとよいかと思います。

[Penefax]

ありがとうございます。このコード例を3次元プロットすることは可能なのでしょうか？

[8524ba23]

可能です。３次元散布図にコード修正しました。

[Penefax]

ありがとうございます。d = np.vstack((d,[-20,10,0]))やd = np.vstack((d,[i,i,2*i]))はデータ形式になっていますが、これを計算式(x=○○、y=○○みたいな)やcsvファイルを読み込むことは可能でしょうか？また、リアルタイムで打ち込まれる方に関してのマーカーの種類などをはじめから打ち込まれている方と変えることは出来るのでしょうか？

[8524ba23]

初期データ＝CSV読込データ、追加データ＝リアルタイム計算結果とすればよいのでは？
それぞれ別マークで描画したいなら、plotを個別に呼べば（デフォルト動作では）重ねて描画されます。
上記を踏まえてサンプルコード修正しています。

[Penefax]

a = np.array([[-20,10,0]]) # 追加データ
の中身も
a = np.array([[X,Y,Z]])にすればよいのでしょうか？
また、この時X,Y,Zを定義している式よりも上にコードを置いた状態で読み込むにはどのようにしたらよいのでしょうか？
動画処理→グラフ表示の順でコードを書いていくと動画が終了してからグラフが表示されてしまい、グラフ→動画処理の順でコードを書いていくとX,Y,Zがglobalで見つかりませんでしたとエラーが出てしまいます。

[8524ba23]

すみません。何が分からないのか分かりません。
サンプルと同様に、a = np.vstack((a,[X,Y,Z]))で新たな座標をa配列に追加
update_plot(l2,a)で、a配列内容をグラフにセットして表示更新すればよいだけです。

[Penefax]

言葉足らずですみません、ひとつ前のコメントを訂正させていただきました。