Python matplotlibを利用したプロット

Question

前提・実現したいこと

Dlibを使って唇の座標検出を行っています。
30秒ほどのmp4動画から自動検出させています。

検出した４点の座標（上唇中央、上唇左端、上唇右端、下唇中央）を
上唇中央と下唇中央、上唇左端と上唇右端をつなぎ、
動画上に十字の線をプロットしたいです。

動画上に図をプロットすることが可能なのか、
可能であればその方法をご教授いただきたいです。
よろしくお願いいたします。

発生している問題・エラーメッセージ

エラーメッセージはありません

該当のソースコード

import matplotlib.pyplot as plt
import math
import numpy as np
import sys
import dlib
import cv2
import time
import copy
import csv

fps=2.5
size=(640,360)

#動画
try:
 mp4file=sys.argv[1]
 if mp4file.isdigit() == True:
        mp4file = int(mp4file)


except:	
 mp4file="test.mp4"


#識別機
try:
 predictor_path=sys.argv[2]
 

except:
 predictor_path="predictor.dat"
 


#指定すればレートのサイズを変更できる
try: 
 resize_rate=sys.argv[3]
 resize_rate=int(resize_rate)
 

except:
 resize_rate=1



#顔にマスクをつけることができる
try: 
 privacy_mask=sys.argv[4]
 privacy_mask=int(privacy_mask)
 

except:
 privacy_mask=0
 

 predictor=dlib.shape_predictor(predictor_path)
 print(predictor)

 video_input=cv2.VideoCapture(mp4file)
 print(video_input)


while(video_input.isOpened() == True):
    ret,frame = video_input.read()
    d=dlib.rectangle(0,0,640,360)

    shape=predictor(frame,d)



    print("{},{},{},{},{},{},{},{}".format(int(shape.part(0).x),int(shape.part(0).y),int(shape.part(1).x),int(shape.part(1).y),int(shape.part(2).x),int(shape.part(2).y),int(shape.part(3).x),int(shape.part(3).y)))



    cv2.imshow('face landmark detector', frame)

    c = cv2.waitKey(50) & 0xFF

    if c==27: # ESC
        break

  
    list = [str(shape.part(0).x),str(shape.part(0).y),str(shape.part(1).x),str(shape.part(1).y),str(shape.part(2).x),str(shape.part(2).y),str(shape.part(3).x),str(shape.part(3).y)]
    with open('some.csv','a') as f:
        writer = csv.writer(f,lineterminator='\n')
        writer.writerow(list)
    plt.plot(list)
    plt.show()

video_input.release()
cv2.destroyAllWindows()

試したこと

matplotlibに関するサイトを見て試したところ、
動画とは別に、plotしたウィンドウが出てきてしまった。

補足情報（FW/ツールのバージョンなど）

Ubuntu,Python,Dlib

Answer 1

matplotlib は使わずに、cv2.imshow('face landmark detector', frame) の直前に frame に対して、cv2.line() で直接線を描画するのはどうでしょうか。

使い方

cv2.line(画像, 始点, 終点, 色)

サンプルコード

import cv2

img = np.zeros((300, 300, 3), dtype=np.uint8)
cv2.line(img, (50, 50), (250, 250), color=(255, 0, 0), thickness=2)

cv2.imwrite("result.png", img)

OpenCV - 長方形、円、テキストなどを画像に描画する方法

Comments

[karutaaan]

試してみたのですが、やはり動画と別に一次関数のようなグラフが出てきてしまいます……

[tiitoi]

それは以下で matplotlib を使っているからではないですか？
plt.plot(list)
plt.show()

[karutaaan]

おそらくそのようです...。
その2文をコメントアウトしたのですが描写されませんでした...。

書き換えたコードです。
img = np.zeros((300, 300, 3), dtype=np.uint8)
cv2.line(img, (shape.part(0).x, shape.part(0).y), (shape.part(3).x, shape.part(3).y), color=(255, 0, 0), thickness=2)
cv2.line(img,(shape.part(1).x,shape.part(1).y),(shape.part(2).x,shape.part(2).y),color=(255, 0, 0), thickness=2)

cv2.imwrite("result.png", img)
cv2.imshow('face landmark detector', frame)

c = cv2.waitKey(50) & 0xFF

if c==27: # ESC
break

list = [str(shape.part(0).x),str(shape.part(0).y),str(shape.part(1).x),str(shape.part(1).y),str(shape.part(2).x),str(shape.part(2).y),str(shape.part(3).x),str(shape.part(3).y)]
with open('some.csv','a') as f:
writer = csv.writer(f,lineterminator='\n')
writer.writerow(list)
#plt.plot(list)
#plt.show()