回答編集履歴

  今までの経験で最高のFPSを発揮させるには、opencvのvideo libraryのモジュールは性能的に貧弱。なので私の場合はdirect show系の入力でopencvに映像を渡して実現しています。