OpenCV.js 動的にサイズの異なるVideoの読み込み・width・heightについて

Question

opencv.js を使用して、色々なサイズの動画をVideoタグに置いて、Canvasに書き出して加工しようとしていますが、うまく動作しません。
以下、抜粋です。

<video id="videoInput" src="hoge.mp4"></video>
<canvas id="canvas"></canvas>

let video = document.getElementById('videoInput');
let cap = new cv.VideoCapture(video);

// 動的に画像を放り込むので、映像をロードした後に、width、heightを指定する
video.onloadedmetadata = function () {
    canvas.setAttribute("width", video.videoWidth);
    canvas.setAttribute("height", video.videoHeight);

    video.setAttribute("width", video.videoWidth);
    video.setAttribute("height", video.videoHeight);

    openCvReady();

}

// opencvの処理
function openCvReady() {
    cv['onRuntimeInitialized']=()=>{
　　　　映像読み込み処理
    };
}

ただし、HTML側video・canvasタグに、width="270" height="360"、などと明示的に記載すれば、動きます。

直接HTMLにwidth、heightを記載するのと、上記のように映像ロードを待って動的にwidth、heightを指定するのと、何か違うのでしょうか？

Tensorflow.jsのPosenetなどは動的に指定して動作するので、OpenCV.js独特のような気もしています。
どなたかご存知の方がいらっしゃれば、お願いします。