Q&A
JavaScript で FFmpeg を使用したいと考えています。
videoconverter.js (https://github.com/bgrins/videoconverter.js) や ffmpeg.js (https://github.com/Kagami/ffmpeg.js) は既に試しておりますが、使用している FFmpeg のバージョンが2.0系と古く、今のiPhone や Android の動画形式（hevc, h.265） のエンコードができずにいます。
また、最新の FFmpeg 3.0 以上とコーデックを追加することで、上記形式のエンコードが JavaScript で可能であることは以下のサイトで試しております。
https://neo.idletime.tokyo/web/idleencoder_js/index.html
そのため、技術的には問題ないと思うのですが Emscripten の知識が足らず、 JavaScript で使えるまでに至っていない状態です。
idleencoder のサイトではソースコードを公開しておりますが、 情報が少なくコンパイルできていません。
そこで、 ffmpeg.js, videoconverter.js の Makefile を参考にしまして以下のように作業を行いました。
terminal
1% git clone https://git.ffmpeg.org/ffmpeg.git ffmpeg 2% cd ffmpeg 3% emconfigure ./configure --cc=emcc --ar=emar --ranlib=emranlib --prefix=$(pwd)/../dist --enable-cross-compile --target-os=none --arch=x86_32 --cpu=generic --disable-stripping --enable-shared --disable-programs --disable-asm --disable-doc --disable-devices --disable-pthreads --disable-w32threads --disable-network --disable-debug --disable-xlib --disable-zlib --disable-sdl2 --disable-iconv --disable-everything --enable-protocol=file --enable-decoder=hevc --enable-parser=hevc --enable-demuxer=hevc --enable-decoder=h264 --enable-parser=h264 --enable-demuxer=h264 4% emmake make -j4 5% emmake make install
上記コマンドを実行して dist ディレクトリに include/ lib/ share/ の３つのディレクトリが生成されました。
一方で、参考にした Makefile ではこの時点で ffmpeg というバイナリファイルが生成されているように見受けられましたが、 ffmpeg バイナリファイルはみつかりませんでした。
https://github.com/Kagami/ffmpeg.js/blob/master/Makefile#L302
https://github.com/bgrins/videoconverter.js/blob/master/build/build_all_codecs.sh#L80 など
idleencoder のサイト（https://neo.idletime.tokyo/web/idleencoder_js/index.html） にも
ffmpegが作成されたらfinalというスクリプトがあるので
という一文があり、 ffmpeg のバイナリファイルが生成されるのではと考えているのですが、依然としてわからずにいます。
どのようにして FFmpeg を JavaScript で実行できるところまで持っていくことができるでしょうか
よろしくお願いいたします。
回答1件
0
正直な話、私もあまり詳しくはないのですが、
多分待っててもEmscriptenに詳しい回答者は出てこないと思うので進めます。
以前Ogg Vorbisという音楽フォーマットを作る為に、
GitHubに上がっているソースコードをEmscriptenでJavaScriptにトランスパイルして私のWebサイトに実装するという事をやった経験があります。
相当前なので多くは忘れてしまいましたが、いくらかは助言出来るかと思います。
ffmpeg のバイナリファイルが生成されるのではと考えているのですが、依然としてわからずにいます。
ここが勘違いです。
ChromeやFirefoxなどのブラウザが動作する言語はJavaScriptだけです。
つまり、Emscriptenが吐き出す結果はJavaScriptファイルです。
良い機会なので軽くおさらいしましょう。
そもそもA言語とB言語を混ぜて使おうという試み自体はよくある話ですが、
LLVMというコンパイラ基盤があり、
Emscriptenはそのエコシステムを利用しています。
Javaのバイトコードの様なLLVM用のバイトコードに一度コンパイルし、
それを媒体に様々な言語に固め直したり、実行ファイルに固めなおしたりするようです。
このLLVM自体はその筋では結構メジャーなようで、
既に様々な言語からLLVM用のバイトコードに変換するコンパイラは既に存在します。
C言語用のコンパイラも存在しているのでLLVMのバイトコードに変換出来る。
じゃあEmscriptenが何やってるのかに関してですが、
LLVM用のバイトコードをJavaScriptのコードに固め直しています。
(CoffeeScript→JavaScriptのように別言語同士に変換するものをトランスパイラと呼びます)
したがってコンパイル結果はJavaScriptのコードです。
中身はとてもじゃないけど読めませんし、苦労して読んでも思想が違うので死にます。
どのようにして FFmpeg を JavaScript で実行できるところまで持っていくことができるでしょうか
WebAssemblyという技術が少しずつ整備されていっていますが、
まだWebAssemblyは使えません。
しかしその前身であるasm.jsは使えます。
そもそもC言語が何故速いかというと、徹底したメモリ管理にあります。
特定の場所から4バイト分の仕様許諾を取り、そこに変数Intで宣言した値を放り込む…みたいなことをやっています。
asm.jsは内部的にINT等のC言語と同じ様な型を実装し、仮想的なメモリ管理を行うことでC言語と似たような事をやろうとしています。
これはどっかのサイトに書いてあった事のうろ覚えですが、
普通のエンジニアがネイティブJSでコードを書くのに比べると2〜3倍程度の速度が出るようです。
この辺の思想の問題で、
Emscriptenを使ってLLVMからJavaScriptに固め直しただけのコードでは、
JavaScriptから利用することは出来ません。
JavaScriptにInt型とかねーし。。。
なので、Emscriptenでコンパイルする際、
JavaScriptのコードをセットで読み込ませてあげて、関数というC言語世界とやり取りする穴を開けてやる必要があります。
このJavaScriptファイルに関しては参考となる既存プロジェクトを読めばなんとかなるでしょう。
このEmscriptenは地獄でした。
仕事を辞めてニートになったんだしちょっと触ってみようというノリではじめましたが、
普通に死にましたね、トライアンドエラーで１ヶ月はかかりました。
仕事でやってるならご愁傷様という感じですが、
趣味だったら難度も挫折しながらゆっくり進めていく形になるかと思います。
根を詰めないように頑張ってください。
投稿2019/03/12 14:42
総合スコア21158
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2019/03/12 15:05
2019/03/12 15:09
2019/03/12 15:16
2019/03/13 15:01 編集