常連

ディープラーニングを学び始めた初心者です。

基本的な用語についての質問になるのですが、CaffeにてCIFAR-10などの画像の分類を行う際にlossとaccuracyが出力されています。これらはそれぞれtrainでのlossとaccuracy、testでのlossとaccuracyと4つの値がありますがtrainでのlossやaccuracyは一体どのように計算され、意味を持っているのでしょうか？

私は現在ディープラーニングにおいてtestのlossやaccuracyはtrainでの画像データを用いて学習し、その判別器に対してtestでの画像データを判別させることでlossやaccuracyを計算しているものだと認識しています。
これと同様にtrainのlossやaccuracyもtrainでの画像データを用いて出来た判別器にtrain用の画像データを投入して得られた結果という事になるのでしょうか。

ディープラーニングの出力に関して

### 前提・実現したいこと

ubuntu 18.04にcaffeを入れたいのですが、make allすると以下のエラーメッセージが表示されコンパイルできません。
どうすればよろしいでしょうか？

### 発生している問題・エラーメッセージ
~/caffe$ make all -j2
NVCC src/caffe/solvers/nesterov_solver.cu
NVCC src/caffe/solvers/rmsprop_solver.cu
nvcc fatal   : Unsupported gpu architecture 'compute_20'
nvcc fatal   : Unsupported gpu architecture 'compute_20'
Makefile:604: recipe for target '.build_release/cuda/src/caffe/solvers/nesterov_solver.o' failed
make: *** [.build_release/cuda/src/caffe/solvers/nesterov_solver.o] Error 1

make: *** 未完了のジョブを待っています....
Makefile:604: recipe for target '.build_release/cuda/src/caffe/solvers/rmsprop_solver.o' failed
make: *** [.build_release/cuda/src/caffe/solvers/rmsprop_solver.o] Error 1


### 補足情報

私が参考にしているサイト
https://qiita.com/yoyoyo_/items/ed723a6e81c1f4046241
https://qiita.com/JeJeNeNo/items/045948694327977f614f

ubuntu 18.04でのcafeeのコンパイルエラー

caffeでimage feature　extractionというのがあるのをさっき知りました。
これです。
[https://github.com/facebookarchive/C3D/blob/master/C3D-v1.0/tools/extract_image_features.cpp](https://github.com/facebookarchive/C3D/blob/master/C3D-v1.0/tools/extract_image_features.cpp)
で、このソースでコンパイルしてできた実行ファイルでやるといい感じです。
ただC＋＋が面倒なのでこのコードをpythonで書きなおしたいです。
それが多分できると考えています。
そこでこれについているcaffeをpythonで使えるようにしたいのですが、
どうすればいいのか全く分かりません（自前ビルドのcaffeをpythonにpipなどで入れる方法がわからない）。私が知っているのはpip install *.whlの方法だけですが、WHLファイルがありませんでした。
どうすればいいですか？

caffeをpython3で使いたい。

畳み込みの逆伝播の計算方法を視覚的に教えてください。
![イメージ説明](98024559ac6326c3f841ce42b5d25e94.png)
この絵をイメージして下の配列で計算すると、どんな計算方法になるでしょうか。
（おそらく積和演算ですが、愚直にやっていいものかと）
転置のような計算をさせる記事もありましたが、一方でオライリーのDeep learning from scratchでは普通に転置させている様子（しかし、以下のソースコードを基に計算させると行列が合わずエラー）

```Python
# 誤差出力(4x4)
dout = np.array([
  [ # channel 
    [11,12,13,14],
    [21,22,23,24],
    [31,32,33,34],
    [41,42,43,44],
  ]
])

# 入力画像または特徴マップ (6x6)
x = np.array([
  [ # channel 
    [11,12,13,14,15,16],
    [21,22,23,24,25,26],
    [31,32,33,34,35,36],
    [41,42,43,44,45,46],
    [51,52,53,54,55,56],
    [61,62,63,64,65,66],
  ]
])

# カーネル(3x3)
W = np.array([
  [ # channel 
    [11,12,13],
    [21,22,23],
    [31,32,33],
  ]
])

padding = 0
stride = 1
no-bias
```

畳み込みの逆伝播の計算方法を視覚的に教えてください。

### 前提・実現したいこと

題の通りです。
http://blog.abars.biz/archives/52453748.html
https://catdance124.hatenablog.jp/entry/2019/07/30/174908
こちらを参考にしつつ、DIGITS6.1.1で作成したcaffeモデルをkerasのモデルに変換しようと試みているのですが、うまくいきません。また、エラーメッセージについても検索にかけましたがよくわかりませんでした。

### 発生している問題・エラーメッセージ

```
mmconvert: error: the following arguments are required: --dstFramework/-df
```

### 該当のソースコード

```
(ENV_NAME) C:\Users\user>mmconvert --srcFramework caffe --inputWeight C:/~/caffemodel/snapshot_iter_750.caffemodel --inputNetwork C:/~/caffemodel/train_val.prototxt --dstFamework keras --outputModel SGD30.h5 --inputShape 30,3,256,256
```
### 追記
caffeをちゃんと入れていなかったようだったので以下を参考に入れました。https://mugichoko.hatenablog.com/entry/2017/10/31/044806

また、この後いろんなサイトを参考にしながらinputShapeを3 227 227に変更しかつ変換したいモデルのある場所で回してみたところ、エラーが以下のように変わりました。
```
(ENV_NAME) C:\Users\user\Desktop\keras-grad-cam-master\caffemodel>mmconvert --srcFramework caffe --inputWeight SgdAlex30.caffemodel --inputNetwork train_val.prototxt --dstFramework keras --outputModel SgdAlex30.h5 --inputShape 3 227 227
```
```
WARNING: Logging before InitGoogleLogging() is written to STDERR
I1027 13:37:01.994166 12988 upgrade_proto.cpp:67] Attempting to upgrade input file specified using deprecated input fields: C:\Users\user\AppData\Local\Temp\tmpj05vocvw.prototxt
(中略)
RuntimeError: Could not open file C:\Users\user\AppData\Local\Temp\tmpj05vocvw.prototxt
```
~~該当のファイルがそもそも見つからず、、、caffeの問題なのでしょうか。
また、「開けない」と言われたファイルのディレクトリを絶対パスに通すと良いというのを見つけたのでやってみましたが特に変わりはありませんでした。~~
inputNetworkのファイルをtrain_val.prototxtからdeploy.prototxtファイルにしたところ、
```
Check failed: count_ == proto.data_size() (34848 vs. 0)
```
といったエラーに変わりました。しらべたところ、訓練に用いたcaffeのバージョン(GPU,0.17.0)と今回の変換用のバージョン(CPU,1.0?)が違うとこのように表示されるようでした。
ですので、GPU版のものを入れようと思うのですが、そのまま入れてしまって大丈夫なのでしょうか。
### （補足情報）

python3.5(Anaconda3)上のコマンドプロンプトを使用しています

mmdnnでcaffeモデルからkerasモデルへの変換

こんにちは。

深層学習を勉強し始めました。
自ら用意した画像の判別（分類）を行いたいと思っています。

深層学習の代表的なモデルとしてAlexNetやGoogLeNetなどがあることを知ったので、
そのモデルを利用して自らの画像データの判別が出来ないかと考えています。

Caffeというフレームワークを入手し、その中にprototxtというファイルがあったのですが、
自らの画像データを用いた場合どの部分の記述を変更すればいいのでしょうか。
[BVLC/caffe](https://github.com/BVLC/caffe/tree/master/models/bvlc_googlenet)

```deploy
layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param { shape: { dim: 10 dim: 3 dim: 224 dim: 224 } }
}
```

```train
name: "GoogleNet"
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 224
    mean_value: 104
    mean_value: 117
    mean_value: 123
  }
  data_param {
    source: "examples/imagenet/ilsvrc12_train_lmdb"
    batch_size: 32
    backend: LMDB
  }
}
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 224
    mean_value: 104
    mean_value: 117
    mean_value: 123
  }
  data_param {
    source: "examples/imagenet/ilsvrc12_val_lmdb"
    batch_size: 50
    backend: LMDB
  }
}
```
データについて書かれているこの部分を変更すれば使えるものなのでしょうか。

GoogleNetなど代表的なモデルを使う方法が知りたい

### 前提・実現したいこと

AWSのDeepLearning AMIを利用してOpenPoseを実行したいです．

### 実行内容
https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/installation.md#ubuntu
上記に基づいて実行しています．
実際には下記の順です．
```shell
git clone https://github.com/CMU-Perceptual-Computing-Lab/openpose
cd openpose
sudo 3rdparty/scripts/ubuntu/install_cuda.sh #command not found<-確かに存在しない．よくわからない．
sudo bash ./scripts/ubuntu/install_deps_and_cuda.sh #success
sudo apt-get install libopencv-dev
#libopencv-dev is already the newest version (2.4.9.1+dfsg-1.5ubuntu1.1).

mkdir build
cd build
cmake .. #時間かかる
make -j`nproc`
# 時間かかってリンク先のエラー
```

### 発生している問題・エラーメッセージ

下記のstackoverflowと同じです．
https://stackoverflow.com/questions/51204896/openpose-failed-on-aws-deep-learning-instance-then-which-instance-can-100-run/51402901#51402901


### 試したことと分かったこと
基本的にはCaffe, OpenCV とCUDAのバージョンに問題がある可能性が高いみたいです．
- OpenPoseがCaffe2に対応しておらず，Caffeで実行しなければならない．（ただし，この件に関してはあまり情報がないです．）
- OpenCVの再インストールが重要(https://github.com/NVIDIA/DIGITS/issues/1367)
`sudo apt-get install libopencv-dev`は実行したが結果に変化なし．
- CUDAのバージョンが新しすぎる可能性がある(https://stackoverflow.com/questions/51204896/openpose-failed-on-aws-deep-learning-instance-then-which-instance-can-100-run/51402901#51402901)
という三点が基本的な問題で，今回はCUDAではないことまではたどり着きました．


### 補足情報（FW/ツールのバージョンなど）
Instance Type: p2.xlarge(CUDA8)
使用AMI: Deep Learning AMI (Ubuntu) Version 21.0 
MXNet-1.3, TensorFlow-1.12, PyTorch-1.0, Keras-2.2, Chainer-5.1, Caffe/2-0.8, Theano-1.0 & CNTK-2.6, configured with NVIDIA CUDA, cuDNN, NCCL, Intel MKL-DNN, Docker & NVIDIA-Docker. 

おそらく，openCVのversionが最大の問題なのだと思われるのですが，イマイチ解決できておりません．
以上，よろしくお願いします．

EC2のDeepLearning InstanceでOpenPoseを実行したい

C++で書かれているcaffe（２でないほう）のコードがあります。
これをpython2.7に直したいのです。
まずC++のコードを書きました
```cpp

#include <stdio.h>  // for snprintf
#include <cuda_runtime.h>
#include <google/protobuf/text_format.h>
#include <string>
#include <vector>
#include <iostream>
#include <fstream>

#include "caffe/blob.hpp"
#include "caffe/common.hpp"
#include "caffe/net.hpp"
#include "caffe/vision_layers.hpp"
#include "caffe/proto/caffe.pb.h"
#include "caffe/util/io.hpp"
#include "caffe/util/image_io.hpp"

int main(int argc, char** argv) {

  char * MODEL_FILE = "/home/kokawa2003/work/ww2/C3D-v1.0/python/prototxt/c3d_sport1m_feature_extractor_file.prototxt";
  char * PRETRAINED = "/home/kokawa2003/work/ww2/C3D-v1.0/python/conv3d_deepnetA_sport1m_iter_1900000";
  char * LAYER = "fc6-1";
  int INDEX = 0;




  Caffe::set_phase(Caffe::TEST);
  shared_ptr<Net<Dtype> > feature_extraction_net(
      new Net<Dtype>(string(MODEL_FILE)));
  feature_extraction_net->CopyTrainedLayersFrom(string(PRETRAINED));

  Caffe::set_mode(Caffe::GPU);
  Caffe::SetDevice(0);
  vector<Blob<float>*> input_vec;
  feature_extraction_net->Forward(input_vec);
  const shared_ptr<Blob<Dtype> > feature_blob = feature_extraction_net
        ->blob_by_name(LAYER);
  int num_features = feature_blob->num();
  int ch=feature_blob->channels(); 
  int len=feature_blob->length() ;
  int h=feature_blob->height();
  int w=feature_blob->width() ;
  int c=feature_blob->count(); 
  LOG(ERROR) <<ch;
  LOG(ERROR) <<num_features;
  LOG(ERROR) <<h;
  LOG(ERROR) <<w;
  LOG(ERROR) <<c;  
  Dtype *mc=feature_blob->mutable_cpu_data();
       for(int i=0;i<c;i++){
             LOG(ERROR)<<mc[i];
       }  
   return 0;
}

```
このコードなのですが
最初に
Caffe::set_phase(Caffe::TEST);
から始まりますが、これが
  shared_ptr<Net<Dtype> > feature_extraction_net(
      new Net<Dtype>(string(MODEL_FILE)));
の下に来るとどうも、最後の出力が毎回変わるのがわかりました。それでこのコードなのです。
これと同じことをpythonでしたかったので
このコードをかきました。

```python
import sys, os, os.path, numpy, caffe
import inspect

MODEL_FILE = '/home/kokawa2003/work/ww2/C3D-v1.0/python/prototxt/c3d_sport1m_feature_extractor_file.prototxt'
PRETRAINED = '/home/kokawa2003/work/ww2/C3D-v1.0/python/conv3d_deepnetA_sport1m_iter_1900000'
LAYER = 'fc6-1'
INDEX = 0

res=inspect.getmembers(caffe.Net);



#net = caffe.Classifier(MODEL_FILE)
net = caffe.Net(MODEL_FILE,PRETRAINED)
net.set_phase_test()
net.set_mode_gpu()  
net.set_device(0)
net = caffe.Net(MODEL_FILE,PRETRAINED)
net.forward()
blob=net.blobs['fc6-1']
#features = blob.data.copy()
#funcs=inspect.getmembers(blob)
#net.blobs['fc6-1'].cpu_data() 
#features.cpu_data()
print(blob.channels)
print(blob.num)
print(blob.height)
print(blob.width)
print(blob.count)
#print(len(blob.data))
#print(len(blob.data[0]))
for onedata1 in blob.data:    
   for one2 in onedata1:
      print(one2)
#print(blob.data[0]);

```
これで同等な出力が出るのは見ましたがコードがちょっとアレです。
とくに
net = caffe.Net(MODEL_FILE,PRETRAINED)
net.set_phase_test()
net.set_mode_gpu()  
net.set_device(0)
net = caffe.Net(MODEL_FILE,PRETRAINED)
のあたりが....
netを二回読んでいるのは読む前にnet.set_phase_test()
をしたかったがやり方がわからないからです。
２回目のnet = caffe.Net(MODEL_FILE,PRETRAINED)を取ると出力が毎回変わります。
本当はどう書くのがいいのでしようか？
動いているからいいとも思うが、偶然かもしれない。
ちょっとアブノーマルだと思うので正しい書き方を知りたいです。