動画をリアルタイムで処理したい

Question

・やりたいこと
Web上で再生される動画内に表示させる数字をリアルタイム（遅延1秒以内）に認識したい
PC画面の指定領域をキャプチャし、その領域内に数字が出現したらその回数をカウントするようなイメージ

・分からない事
画像から数字を認識する方法は分かったのですが、動画をリアルタイムに処理する方法が分かりません。
この場合、動画を1フレームごと画像化して、画像を解析していくしかないのでしょうか？
そうした場合に、負荷がすごいことになりそうですが、遅延1秒以内という目標は達成できるのでしょうか？
そのほかに本用途に適したライブラリ等ありましたら教えていただけますでしょうか。

Answer 1

(最終回)Python + OpenCVで遊んでみる(OCR編)に、ある程度のコードが載っていますね。

おわりに

静止画のOCRを実施し、オープンソースのツールでもある程度の文字認識精度が得られることがわかりました。

これを応用して動画でリアルタイムに文字を認識するアプリケーションといったものも作ることができそうです

と書かれていますが、リアルタイムでできたかどうかは書かれていません。