[OpenCV for Unity] VideoWriter関数で動画を保存する際のコーデックを.mp4または.movに変更したいです。

Question

前提・実現したいこと

Unityを用いてZoomのバーチャル動画背景を生成するツールを作ろうと考えています。
OpenCV for UnityというアセットのVideoWriter関数を用いて動画を保存しようとしております。

現在は.avi形式であれば動画を出力できるのですが、.mp4または.mov形式でなければならないです。
拡張子の名前を変えるのではなく、動画を保存するときのコーデックを変更しなければならないようです。

試したこと

以下のサイトに、(私が現在使っているものと同じ)「OpenCV for Unity」を使って.mp4の形式で動画を保存する方法を説明した記事がありました。
http://takashicompany.hatenablog.com/entry/2017/12/02/172136
ocv.VideoWriter.fourcc('M', 'P', '4', 'V'), // 動作環境にあわせてコーデックを変える
これを参考にしたのですが、うまく動作しませんでした。
VideoWriterが開けないというエラーが出ました。

writer.isOpened() false UnityEngine.Debug:LogError(Object) OpenCVForUnitySample.VideoWriterPathDecided:StartRecording(String) (at Assets/Aguro/Scripts/VideoWriterPathDecided.cs:195) OpenCVForUnitySample.VideoWriterPathDecided:OnRecButtonClick() (at Assets/Aguro/Scripts/VideoWriterPathDecided.cs:314) UnityEngine.EventSystems.EventSystem:Update() (at /Applications/Unity/Hub/Editor/2019.4.2f1/Unity.app/Contents/Resources/PackageManager/BuiltInPackages/com.unity.ugui/Runtime/EventSystem/EventSystem.cs:377) 

以下がエラーが発生するVideoWriterPathDecided.cs:195のプログラムです。

writer.open(savePath, VideoWriter.fourcc('M', 'P', '4', 'V'), 30, new Size(Screen.width, Screen.height));

以下のプログラムでは.avi形式ではあるのですが、エラーが無く保存できました。

writer.open(savePath, VideoWriter.fourcc('M', 'J', 'P', 'G'), 30, new Size(Screen.width, Screen.height));

以下のサイトに、コーデックの一覧表がありました。
(OpenCV for Unityではなく、pythonやC++を用いたOpenCVの対応表のようです。ですが、OpenCV for Unityでも同じだと思っております。)
https://qiita.com/MuAuan/items/5d968d41e993848a4332

MJPEGの.aviであれば保存できました。
MP4SやMP4Vの.mp4や、mp4vの.movだとエラーが発生します。

補足情報（FW/ツールのバージョンなど）

Unity2019です。
私の説明不足な点があるかと思いますが、質問していただけると助かります。
よろしくお願いします。

Comments

[bboydaisuke]

> VideoWriterが開けないというエラーが出ました。

エラーを示す時は「～～というエラー」ではなく、実際に出たエラーを全文コピペしなければ意味がないですね。

[aguroshou0413]

bboydaisukeさん
ご指摘ありがとうございます。
私の説明不足でした。こちらに全文のエラーを記載します。
writer.isOpened() false
UnityEngine.Debug:LogError(Object)
OpenCVForUnitySample.VideoWriterPathDecided:StartRecording(String) (at Assets/Aguro/Scripts/VideoWriterPathDecided.cs:195)
OpenCVForUnitySample.VideoWriterPathDecided:OnRecButtonClick() (at Assets/Aguro/Scripts/VideoWriterPathDecided.cs:314)
UnityEngine.EventSystems.EventSystem:Update() (at /Applications/Unity/Hub/Editor/2019.4.2f1/Unity.app/Contents/Resources/PackageManager/BuiltInPackages/com.unity.ugui/Runtime/EventSystem/EventSystem.cs:377)

以下がエラーが発生するプログラムです。
writer.open(savePath, VideoWriter.fourcc('M', 'P', '4', 'V'), 30, new Size(Screen.width, Screen.height));

以下のプログラムでは.avi形式ではあるのですが、エラーが無く保存できました。
writer.open(savePath, VideoWriter.fourcc('M', 'J', 'P', 'G'), 30, new Size(Screen.width, Screen.height));

もし他に必要な情報があり、私が提示できていなければ、大変申し訳ないのですが、またご質問いただけると助かります。
よろしくお願いします。

[bboydaisuke]

エラーはコメントじゃなく質問の方にコードとしてペーストした方がよいですよ。

> 以下がエラーが発生するプログラムです。

以下が「VideoWriterPathDecided.cs:195 の内容」ということですよね。

[aguroshou0413]

ご指摘ありがとうございます。
質問文を修正しました。
>以下が「VideoWriterPathDecided.cs:195 の内容」ということですよね。
こちらの内容は正しいです。

Answer 1

OpenCV for Unityのアセットの中に「readme.pdf」があり、こちらにVideoWriterで画面を録画する際の動画のコーデックを変更する際に、必要な手順が記載されておりました。

If you want to use more video formats with the "Video Capture (string filename)" or
"VideoWriter" method, setup is required.
1)Download "OpenCV for Windows Version
4.3.0"(http://opencv.org/downloads.html).
2)Set PATH variable to "opencv_ffmpeg4.3.0.dll" or "opencv_ffmpeg4.3.0_64.dll".
if 32bit, "\path\to\opencv\build\x86\vc14\bin".
if 64bit, "\path\to\opencv\build\x64\vc14\bin".
Or
2)Copy to Project Folder.

少しだけ分かりづらい部分がありましたので、追加して記載します。
https://sourceforge.net/projects/opencvlibrary/

こちらからファイルを開きます。
「\opencv\build\x64\vc14\bin\opencv_videoio_ffmpeg430_64.dll」をUnityプロジェクトのフォルダ(AssetsやLibraryなどのフォルダがある場所)に置きます。

すると、無事に

//.mp4の拡張子
writer.open(savePath, VideoWriter.fourcc('M', 'P', '4', 'V'), 30, new Size(Screen.width, Screen.height));

や、

//.movの拡張子
writer.open(savePath, VideoWriter.fourcc('m', 'p', '4', 'v'), 30, new Size(Screen.width, Screen.height));

といったコーデックで保存することができました。(動画ファイルを保存するときに拡張子の名前を、また別で変更する必要があります。)

https://mediaarea.net/MediaInfoOnline

こちらのサイトで動画のコーデックを確認できるようでして、

• VideoWriterの引数にMJPEG(.aviの拡張子)

Codec ID : MJPG

• VideoWriterの引数にMP4V(.mp4の拡張子)

Codec ID : mp4v-20

• VideoWriterの引数にmp4v(.movの拡張子)

Codec ID : mp4v-20
コーデックはこのようになっていました。

Windowsでは動作しましたが、Macではうまく動作しませんでした。私にはなかなか解決できなかったので、Macはとりあえず保留とします。(Macで動作させる方法が分かる方はぜひご回答頂けると助かります...。)

bboydaisukeさんのアドバイスがなければ、解決しませんでした。ご回答ありがとうございました。

実は、最終的な目標である「Zoomにバーチャル動画背景として読み込ませる」ためには、今回の.mp4や.movではコーデックかなにかの設定が異なるようで、うまく読み込ませることができませんでした。

↓Zoomで動画が読み込めなかったときのエラー文です。

サポートされていない形式です。別のファイルをアップロードしてください。

こちらの件についてはまた別でご質問させていただきます。(繋げて質問すると他の閲覧者が分かりづらくなってしまうと考えたためです。)
間違えたことを言っている場合は、ご指摘お願いします。よろしくお願いします。

Answer 2

ファイルをオープンしたつもりが失敗しているようで、そういう時は ffmpeg の dll が呼び出せてないからだろうから、パスを通すかファイルを移動してパスを検索しなくてもいいようにすればいいらしいです。

参照: VideoWriterで動画ファイルの初期化エラー（上記のソースコード内の”writer.isOpened()”でfalseが返されるとき）の解決方法

Comments

[aguroshou0413]

bboydaisukeさん
ご回答ありがとうございます。
bboydaisukeさんのアドバイスがきっかけで解決することができました。本当にありがとうございました。