回答編集履歴
4
add ref
test
CHANGED
|
@@ -72,6 +72,20 @@
|
|
|
72
72
|
|
|
73
73
|
|
|
74
74
|
|
|
75
|
+
ref:
|
|
76
|
+
|
|
77
|
+
- [/modules/videoio/src/cap.cpp](https://github.com/opencv/opencv/blob/b500ae2d21e858bebd68b34b6cfef352979c269a/modules/videoio/src/cap.cpp)
|
|
78
|
+
|
|
79
|
+
- [/modules/videoio/src/cap_mjpeg_decoder.cpp](https://github.com/opencv/opencv/blob/638a01a014cb1972a6ffa63755474ce89e3db9d8/modules/videoio/src/cap_mjpeg_decoder.cpp)
|
|
80
|
+
|
|
81
|
+
- [/modules/videoio/src/cap_gphoto2.cpp](https://github.com/opencv/opencv/blob/05b15943d6a42c99e5f921b7dbaa8323f3c042c6/modules/videoio/src/cap_gphoto2.cpp)
|
|
82
|
+
|
|
83
|
+
- [/modules/videoio/src/cap_mfx_reader.cpp](https://github.com/opencv/opencv/blob/8b664d61221d8fef9a1f2cab2c69d9481dbca5d7/modules/videoio/src/cap_mfx_reader.cpp)
|
|
84
|
+
|
|
85
|
+
|
|
86
|
+
|
|
87
|
+
|
|
88
|
+
|
|
75
89
|
## CFR(固定フレームレート)の場合のループ制御
|
|
76
90
|
|
|
77
91
|
|
3
fix include header list
test
CHANGED
|
@@ -4,7 +4,11 @@
|
|
|
4
4
|
|
|
5
5
|
```cpp
|
|
6
6
|
|
|
7
|
-
#include <opencv2/o
|
|
7
|
+
#include <opencv2/core.hpp>
|
|
8
|
+
|
|
9
|
+
#include <opencv2/videoio.hpp>
|
|
10
|
+
|
|
11
|
+
#include <opencv2/highgui.hpp>
|
|
8
12
|
|
|
9
13
|
#include <iostream>
|
|
10
14
|
|
2
注意事項整理
test
CHANGED
|
@@ -30,6 +30,8 @@
|
|
|
30
30
|
|
|
31
31
|
}
|
|
32
32
|
|
|
33
|
+
cv::namedWindow("Live", cv::WINDOW_AUTOSIZE);
|
|
34
|
+
|
|
33
35
|
const double fps = video.get(cv::VideoCaptureProperties::CAP_PROP_FPS);
|
|
34
36
|
|
|
35
37
|
const double mspf = 1000.0 / fps;
|
|
@@ -54,9 +56,85 @@
|
|
|
54
56
|
|
|
55
57
|
|
|
56
58
|
|
|
57
|
-
注意
|
|
59
|
+
# 注意点
|
|
58
60
|
|
|
59
|
-
|
|
61
|
+
|
|
62
|
+
|
|
63
|
+
## `cv::VideoCapture::get`の信憑性
|
|
64
|
+
|
|
65
|
+
|
|
66
|
+
|
|
67
|
+
`cv::VideoCapture::get`の値は信用できないという話もある。例えばdecoderが`IntelMFX`, `GPhoto2`の場合、内部実装はガバガバで信用できない。
|
|
68
|
+
|
|
69
|
+
|
|
70
|
+
|
|
71
|
+
## CFR(固定フレームレート)の場合のループ制御
|
|
72
|
+
|
|
73
|
+
|
|
74
|
+
|
|
75
|
+
多くのサンプルで`cv::waitKey(30)`としているが、これは**明確な誤りである**。動画のフレームレートは多くの場合`29.97`や`24`fpsであることが多いが、動画を開いてみるまでFPSは確定しない。`30`fps決め打ちはやってはいけない。
|
|
76
|
+
|
|
77
|
+
|
|
78
|
+
|
|
79
|
+
また`cv::VideoCapture::read`, `cv::imshow`の実行時間も無視してはいけない。つまり`cv::waitKey`はあくまでキー入力を受けるために使うべきであり、**フレームレート制御に用いてはならない**。
|
|
80
|
+
|
|
81
|
+
[`cv::waitKey`](http://docs.opencv.org/3.2.0/d7/dfc/group__highgui.html#ga5628525ad33f52eab17feebcfba38bd7)はドキュメントによると引数はミリ秒単位であり、`0`以下の値(どういうわけかこいつ負の値もとる、頭がおかC)が渡されるとキー入力があるまで動かないので、キー入力を待たない最小時間である`1`msec.を渡す。
|
|
82
|
+
|
|
83
|
+
|
|
84
|
+
|
|
85
|
+
ではどうやってフレームレート制御するかというと、C++11で追加された時間ライブラリとスレッドライブラリを利用する。つまり[`std::chrono::steady_clock`](https://cpprefjp.github.io/reference/chrono/steady_clock.html),
|
|
86
|
+
|
|
87
|
+
[`std::chrono::milliseconds`](https://cpprefjp.github.io/reference/chrono/milliseconds.html), [`std::this_thread::sleep_until`](https://cpprefjp.github.io/reference/thread/this_thread/sleep_until.html)を利用する。
|
|
88
|
+
|
|
89
|
+
|
|
90
|
+
|
|
91
|
+
`steady_clock`はたとえプログラム起動中にOSが例えばNTP同期するなどして時刻が逆行した場合でもその影響を受けずに動作する。
|
|
92
|
+
|
|
93
|
+
|
|
94
|
+
|
|
95
|
+
## VFR(可変フレームレート)の場合のループ制御
|
|
96
|
+
|
|
97
|
+
|
|
98
|
+
|
|
99
|
+
上記サンプルはVFRな動画に対しては全く正常に動作しない。
|
|
100
|
+
|
|
101
|
+
|
|
102
|
+
|
|
103
|
+
可変フレームレートというくらいだから、各フレームごとに表示時間を決定する必要がある。これを怠るプログラムのなんとまあ多いこと。
|
|
104
|
+
|
|
105
|
+
|
|
106
|
+
|
|
107
|
+
ref: [本の虫: VFRはいまだ浸透せず](https://cpplover.blogspot.jp/2008/01/vfr.html)
|
|
108
|
+
|
|
109
|
+
|
|
110
|
+
|
|
111
|
+
VFRというのは圧縮効率の観点から極めて合理的でありサポートするべきだというのに。
|
|
112
|
+
|
|
113
|
+
|
|
114
|
+
|
|
115
|
+
しかしながら、OpenCVではどのようにしてその情報を手に入れればいいのだろうか？
|
|
116
|
+
|
|
117
|
+
|
|
118
|
+
|
|
119
|
+
1. `cv::VideoCaptureProperties::CAP_PROP_POS_MSEC`を利用して`cv::VideoCapture::read`のあとにこの値を`cv::VideoCapture::get`で読み、`std::this_thread::sleep_until`などでwaitする
|
|
120
|
+
|
|
121
|
+
2. `cv::VideoCaptureProperties::CAP_PROP_FPS`を利用して`cv::imshow`のあとにこの値を`cv::VideoCapture::get`で読み、`std::this_thread::sleep_until`などでwaitする
|
|
122
|
+
|
|
123
|
+
|
|
124
|
+
|
|
125
|
+
しかしながらすでに述べたとおり、`cv::VideoCapture::get`は
|
|
126
|
+
|
|
127
|
+
|
|
128
|
+
|
|
129
|
+
> 正しい値が返ってくるといいなぁ(願望)
|
|
130
|
+
|
|
131
|
+
|
|
132
|
+
|
|
133
|
+
程度の信憑性であり、実用に耐えない。唯一信頼が置ける場合は、コーデックが事前に決め打ちでき、かつOpenCVでのそのコーデックの実装が正しい場合のみである。
|
|
134
|
+
|
|
135
|
+
|
|
136
|
+
|
|
137
|
+
つまり、OpenCVの動画再生機能はまともにVFRな動画を再生することができない。FFmpegやそのラッパーである[L-SMASH Works](https://github.com/VFR-maniac/L-SMASH-Works)でdecodeするべきである。
|
|
60
138
|
|
|
61
139
|
|
|
62
140
|
|
1
信用できない場合
test
CHANGED
|
@@ -56,4 +56,8 @@
|
|
|
56
56
|
|
|
57
57
|
注意:このサンプルは動画がVFR(可変フレームレート)な場合は正常に動作しません。つーかどうやって1frameあたりの表示時間を取得すりゃいいんだ・・・？
|
|
58
58
|
|
|
59
|
-
そもそも`cv::VideoCapture::get`の値は信用できないという話もある。
|
|
59
|
+
そもそも`cv::VideoCapture::get`の値は信用できないという話もある。例えばdecoderが`IntelMFX`, `GPhoto2`の場合、内部実装はガバガバで信用できない。
|
|
60
|
+
|
|
61
|
+
|
|
62
|
+
|
|
63
|
+
|