opencvでYoutube Liveの映像を処理したいです

Question

前提

動作環境はWindows10のAnacondaNavigatorの上で、Pythonを使っています。

実現したいこと

opencvでYoutube Liveの映像を処理したいです。

https://qiita.com/suo-takefumi/items/4c63399e39edecdcf323
上記サイトを参考にしました。
Live映像ではないものは処理することができたのですが、youtube liveの動画だと途中で途切れてしまいます。

該当のソースコード

import cv2
import pafy

# キャプチャするYouTube動画のURLを設定します
url = "https://youtu.be/PaCyCcWseO4"

video = pafy.new(url)
best = video.getbest(preftype="mp4")
cap = cv2.VideoCapture(best.url)

while (True):
    ret,frame = cap.read()
    cv2.imshow('frame',frame)
    if cv2.waitKey(20) & 0xFF == ord('q'):
        break    

cap.release()
cv2.destroyAllWindows()

試したこと

Live映像とのずれを回避するために、定期的にvideocapture()をし直す必要がありそうな気はしているのですが、実装方法に悩んでいます。
知恵をお借りできたら、嬉しいです。