caffeをpython3で使いたい。

Question

caffeでimage feature　extractionというのがあるのをさっき知りました。
これです。
https://github.com/facebookarchive/C3D/blob/master/C3D-v1.0/tools/extract_image_features.cpp
で、このソースでコンパイルしてできた実行ファイルでやるといい感じです。
ただC＋＋が面倒なのでこのコードをpythonで書きなおしたいです。
それが多分できると考えています。
そこでこれについているcaffeをpythonで使えるようにしたいのですが、
どうすればいいのか全く分かりません（自前ビルドのcaffeをpythonにpipなどで入れる方法がわからない）。私が知っているのはpip install *.whlの方法だけですが、WHLファイルがありませんでした。
どうすればいいですか？

Comments

[jbpb0]

caffeで学習済みのモデルファイルがあって、pythonではそれを使った推論のみできたらいいのなら、OpenCVのdnnモジュールでcaffeモデルを読むことができます

python opencv dnn caffe

とかでググれば、解説してるWebページがたくさん見つかります

また、OpenVINOでは、caffeモデルから変換して推論を行うことができます
https://www.slideshare.net/HiroshiOuchiyama/intel-openvino
https://speakerdeck.com/kkojima/x86-cpudedong-kuaiapurizuo-cheng-dezhi-tuteirutobian-li-naji-chu-zhi-shi

[jbpb0]

OpenCVやOpenVINOではうまく推論できない場合は、たとえば
https://www.cresco.co.jp/blog/entry/2717/
https://soratobi96.hatenablog.com/entry/20190414/1555174698
とかを参考にしながら、
https://caffe.berkeleyvision.org/installation.html
に書かれてることをやるのだと思います

[kokawa2003]

ありがとうございます。読みずらい文章ですみません。言いたいことはこのC＋＋のソースで
学習済みデータとprototxtを使ってfeatureを記述した*.fc6-1のファイルを作っています。
使い方はこんな感じ
https://github.com/facebookarchive/C3D/blob/master/C3D-v1.0/examples/c3d_feature_extraction/c3d_sport1m_feature_extraction_video.sh
これと同じことをPythonでしたいなあということでした。
なぜPythonにこだわるか？はもっと大きなシステムの一部にしたいからです。
ちょっと教えていただいたのはやってみます。

[jbpb0]

https://github.com/facebookarchive/C3D/blob/master/C3D-v1.0/examples/c3d_feature_extraction/extract_C3D_feature.py
は違うのですかね
(コードちゃんと読んで無いので、外してる可能性大)

[kokawa2003]

これは実行ファイルをsubprocessで読んでいるだけ

[jbpb0]

外しまくってごめんなさい

https://punyo-er-met.hateblo.jp/entry/2016/03/04/112450
に書かれてるようなことをやるのですかね

上記は「import caffe」をやってますけど、
https://qiita.com/maskot1977/items/0ab06d8a5aac0ee29dc7
によると、Google Colabではaptでcaffeを入れたらインポートできるみたいで、
https://caffe.berkeleyvision.org/install_apt.html
によると、Ubuntuもそのようです

[kokawa2003]

ありがとうございます。私が知る限りではprototextと学習済みデータで画像（動画）を分類ってのはこの世界（caffeを使う世界）では常識らしい。だから質問のコードは多分pythonにできると思うけど、そのときcaffeって上みたいに適当に入れた入れたものでいいのか、それとも上のC3Dについているcaffeでないとダメなのかが分かってないので今からやるのですが、その辺り分かりますか？

[jbpb0]

> caffeって上みたいに適当に入れた入れたものでいいのか

https://github.com/facebookarchive/C3D
には「C3D is a modified version of BVLC caffe」と書いてあるので、オリジナルcaffeとは違うもののようです
失礼しました

https://vlg.cs.dartmouth.edu/c3d/
の「C3D User Guide」
https://docs.google.com/document/d/1-QqZ3JHd76JfimY4QKqOojcEaf5g3JS0lNh-FHTxLag/edit
の「FAQs」に、
Do we have MATLAB or Python wrappers for extracting C3D features?
→ Unfortunately, we don’t have them yet.
と書いてあるので、「C3D」(修正版caffe)をPythonから使うのは、少なくとも公式版はまだ無いようです

[jbpb0]

公式実装じゃ無くてもいいのなら、Keras版とかPyTorch版とか、いろいろあるみたいです
https://qiita.com/ikeyasu/items/79f88afffaaa0da19ea9

質問者さんがやりたい事がそれらでできるか分かりませんが、一応紹介しておきます

[kokawa2003]

このページによると
https://caffe.berkeleyvision.org/installation.html
make allのあとで
make pycaffeというオプションがあった

Answer 1

caffe2であれば、PyTorchをインストールすれば使うことができます。

Caffe2のインストールがPyTorchのインストールになっていた．をご覧ください。

Caffe2でないcaffeをインストールするのは非常に難しいのでお勧めしません。

Comments

[kokawa2003]

上にも書きましたが、言いたいことはこのC＋＋のソースで
学習済みデータとprototxtを使ってfeatureを記述した*.fc6-1のファイルを作っています。
使い方はこんな感じ
https://github.com/facebookarchive/C3D/blob/master/C3D-v1.0/examples/c3d_feature_extraction/c3d_sport1m_feature_extraction_video.sh
これと同じことをPythonでしたいなあということでした。
なぜPythonにこだわるか？はもっと大きなシステムの一部にしたいからです。
caffe2でできるか？はやってみます。

[kokawa2003]

というかcaffeでやっていることがcaffe2でできるか？これはバージョンの違いか？もよくわからない

[ppaul]

https://qiita.com/suzuryo3893/items/baad7ff30b61d77403b7
を読むと、あまり非互換はなさそうですね。