OpenCVによる補正後の動画の保存

Question

前提・実現したいこと

PythonのOpenCVのカメラキャリブレーションについてです。
公式サイトのチュートリアルにあるコードを参考にあらかじめ撮影した動画ファイルのカメラゆがみ補正を行おうとしてます。
補正後の動画サイズを自動で所得し動画の保存をしたいです。

発生している問題・エラーメッセージ

save = cv.VideoWriter('cariburation.MOV',fourcc,frame_rate,(w,h))
のコードを書く場所が分からない。

該当のソースコード

import numpy as np
import cv2 as cv
import glob
from time import sleep
from datetime import datetime


# termination criteria
criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 30, 0.001)

# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)
square_size = 21.0
objp = np.zeros((6*9,3), np.float32)
objp[:,:2] = np.mgrid[0:6,0:9].T.reshape(-1,2)
objp *= square_size

# Arrays to store object points and image points from all the images.
objpoints = [] # 3d point in real world space
imgpoints = [] # 2d points in image plane.
images = glob.glob('./img/*.JPG')
for fname in images:
    img = cv.imread(fname)
    gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
    # Find the chess board corners
    ret, corners = cv.findChessboardCorners(gray, (6,9), None)
    # If found, add object points, image points (after refining them)
    if ret == True:
        objpoints.append(objp)
        corners2 = cv.cornerSubPix(gray,corners, (11,11), (-1,-1), criteria)
        imgpoints.append(corners)
        # Draw and display the corners
        cv.drawChessboardCorners(img, (6,9), corners2, ret)
        cv.imshow('img', img)
        cv.waitKey(500)
cv.destroyAllWindows()

et, mtx, dist, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)



cap = cv.VideoCapture(IMG_7800.MOV)

w = int(cap.get(cv.CAP_PROP_FRAME_WIDTH))                   
h = int(cap.get(cv.CAP_PROP_FRAME_HEIGHT))                  

frame_rate = int(cap.get(cv.CAP_PROP_FPS))
fourcc = cv.VideoWriter_fourcc('m','p','4','v')
save = cv.VideoWriter('cariburation.MOV',fourcc,frame_rate,(w,h))

while cap.isOpened():
    ok, frame=cap.read()
    h,  w = img.shape[:2]
    newcameramtx, roi = cv.getOptimalNewCameraMatrix(mtx, dist, (w,h), 1, (w,h))

    # undistort
    dst = cv.undistort(frame, mtx, dist, None, newcameramtx)
    # crop the image
    x, y, w, h = roi
    dst = dst[y:y+h, x:x+w]
    save.write(dst)
    cv.imshow('cariburation', dst)
    k = cv.waitKey(1)
    if k == 27 : break # esc pressed

試したこと

save = cv.VideoWriter('cariburation.MOV',fourcc,frame_rate,(w,h))
のw,hに手動で補正後のサイズを入力したら再生できました。これを自動で入力されるようにしたいです。

補足情報（FW/ツールのバージョンなど）

ubuntu20.04を使用
参考にしたサイト
https://docs.opencv.org/4.x/dc/dbb/tutorial_py_calibration.html

Comments

[退会済みユーザー]

「既にあるキャリブレーション結果（もしくはプログラムの前半でキャリブレーションをした結果）」を元に、キャリブレーション前の動画を修正して改めて保存したい、という質問と理解しました。

> save = cv.VideoWriter('cariburation.MOV',fourcc,frame_rate,(w,h))
> のw,hに手動で補正後のサイズを入力したら再生できました。これを自動で入力されるようにしたいです。
もう少しここを詳しく説明ください。「 cv.VideoWriterのサイズと、保存したい画像のサイズが不一致で出力できない」が問題でしょうか？

もしそうであれば、
dst = dst[y:y+h, x:x+w]
のあとに、
dst = cv2.resize(dst,(w,h))
とすればうまくいくかもしれません。

[fana]

> dst = cv2.resize(dst,(w,h))

「結果動画を眺めて楽しむだけ」とかいう用途ならばまぁそれで良いでしょうけど…
そうでない（補正結果の映像を何か別の処理に用いる）ならば，せっかくの補正結果をてきとーにリサイズってのはまずいのでは．

[km16]

やりたい事、起きている問題はfourteenlengthさんの言っている通りです。
この後やりたい事としては透視変換で真上から見たように変換した後、一緒に撮影した定規を元にピクセルをmmに変換する予定です。

Answer 1

newcameramtx, roi = cv.getOptimalNewCameraMatrix(mtx, dist, (w,h), 1, (w,h))

これを while のループの中で何度も行う必要性はないでしょう．
すなわち，この処理は

et, mtx, dist, rvecs, tvecs = cv.calibrateCamera( ... )

と

save = cv.VideoWriter( ... )

の間（VideoWriterの作成よりも手前）に持っていくことができるハズです．

で，コードを見るに，どうやら補正結果画像のうち roi の範囲だけを動画に出力したいのだと見えますから，
VideoWriterの作成時に指定するサイズとしては，この roi のサイズを用いればよいでしょう．

Comments

[fana]

> この後やりたい事としては透視変換で真上から見たように変換した後…　（[質問への追記・修正、ベストアンサー選択の依頼]より）

roi範囲だけを切り取って出力した結果動画を用いる際には，Optical Center の値がその分だけ変化していることに注意が必要でしょうね．

で，それはそれとして，
一旦「歪み補正した動画」を中間結果として介在させることには何か利点があるのでしょうか？
（元の動画から「透視変換で真上から見た」絵を作るのと比較して）

[km16]

補正しないと歪みによってズレると思ってましたが言われてみれば確かにいらないかも？

[fana]

> 透視変換で真上から見たように変換

の過程で歪みは取り除かれますよね．
（元の映像に対応したカメラ内部パラメータを用いた変換式を用いるわけですから）