常連

こんにちは。

深層学習を勉強し始めました。
自ら用意した画像の判別（分類）を行いたいと思っています。

深層学習の代表的なモデルとしてAlexNetやGoogLeNetなどがあることを知ったので、
そのモデルを利用して自らの画像データの判別が出来ないかと考えています。

Caffeというフレームワークを入手し、その中にprototxtというファイルがあったのですが、
自らの画像データを用いた場合どの部分の記述を変更すればいいのでしょうか。
[BVLC/caffe](https://github.com/BVLC/caffe/tree/master/models/bvlc_googlenet)

```deploy
layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param { shape: { dim: 10 dim: 3 dim: 224 dim: 224 } }
}
```

```train
name: "GoogleNet"
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 224
    mean_value: 104
    mean_value: 117
    mean_value: 123
  }
  data_param {
    source: "examples/imagenet/ilsvrc12_train_lmdb"
    batch_size: 32
    backend: LMDB
  }
}
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 224
    mean_value: 104
    mean_value: 117
    mean_value: 123
  }
  data_param {
    source: "examples/imagenet/ilsvrc12_val_lmdb"
    batch_size: 50
    backend: LMDB
  }
}
```
データについて書かれているこの部分を変更すれば使えるものなのでしょうか。

GoogleNetなど代表的なモデルを使う方法が知りたい

ディープラーニングを学び始めた初心者です。

基本的な用語についての質問になるのですが、CaffeにてCIFAR-10などの画像の分類を行う際にlossとaccuracyが出力されています。これらはそれぞれtrainでのlossとaccuracy、testでのlossとaccuracyと4つの値がありますがtrainでのlossやaccuracyは一体どのように計算され、意味を持っているのでしょうか？

私は現在ディープラーニングにおいてtestのlossやaccuracyはtrainでの画像データを用いて学習し、その判別器に対してtestでの画像データを判別させることでlossやaccuracyを計算しているものだと認識しています。
これと同様にtrainのlossやaccuracyもtrainでの画像データを用いて出来た判別器にtrain用の画像データを投入して得られた結果という事になるのでしょうか。

ディープラーニングの出力に関して

### 前提・実現したいこと

ubuntu 18.04にcaffeを入れたいのですが、make allすると以下のエラーメッセージが表示されコンパイルできません。
どうすればよろしいでしょうか？

### 発生している問題・エラーメッセージ
~/caffe$ make all -j2
NVCC src/caffe/solvers/nesterov_solver.cu
NVCC src/caffe/solvers/rmsprop_solver.cu
nvcc fatal   : Unsupported gpu architecture 'compute_20'
nvcc fatal   : Unsupported gpu architecture 'compute_20'
Makefile:604: recipe for target '.build_release/cuda/src/caffe/solvers/nesterov_solver.o' failed
make: *** [.build_release/cuda/src/caffe/solvers/nesterov_solver.o] Error 1

make: *** 未完了のジョブを待っています....
Makefile:604: recipe for target '.build_release/cuda/src/caffe/solvers/rmsprop_solver.o' failed
make: *** [.build_release/cuda/src/caffe/solvers/rmsprop_solver.o] Error 1


### 補足情報

私が参考にしているサイト
https://qiita.com/yoyoyo_/items/ed723a6e81c1f4046241
https://qiita.com/JeJeNeNo/items/045948694327977f614f

ubuntu 18.04でのcafeeのコンパイルエラー

caffeでimage feature　extractionというのがあるのをさっき知りました。
これです。
[https://github.com/facebookarchive/C3D/blob/master/C3D-v1.0/tools/extract_image_features.cpp](https://github.com/facebookarchive/C3D/blob/master/C3D-v1.0/tools/extract_image_features.cpp)
で、このソースでコンパイルしてできた実行ファイルでやるといい感じです。
ただC＋＋が面倒なのでこのコードをpythonで書きなおしたいです。
それが多分できると考えています。
そこでこれについているcaffeをpythonで使えるようにしたいのですが、
どうすればいいのか全く分かりません（自前ビルドのcaffeをpythonにpipなどで入れる方法がわからない）。私が知っているのはpip install *.whlの方法だけですが、WHLファイルがありませんでした。
どうすればいいですか？

caffeをpython3で使いたい。

畳み込みの逆伝播の計算方法を視覚的に教えてください。
![イメージ説明](98024559ac6326c3f841ce42b5d25e94.png)
この絵をイメージして下の配列で計算すると、どんな計算方法になるでしょうか。
（おそらく積和演算ですが、愚直にやっていいものかと）
転置のような計算をさせる記事もありましたが、一方でオライリーのDeep learning from scratchでは普通に転置させている様子（しかし、以下のソースコードを基に計算させると行列が合わずエラー）

```Python
# 誤差出力(4x4)
dout = np.array([
  [ # channel 
    [11,12,13,14],
    [21,22,23,24],
    [31,32,33,34],
    [41,42,43,44],
  ]
])

# 入力画像または特徴マップ (6x6)
x = np.array([
  [ # channel 
    [11,12,13,14,15,16],
    [21,22,23,24,25,26],
    [31,32,33,34,35,36],
    [41,42,43,44,45,46],
    [51,52,53,54,55,56],
    [61,62,63,64,65,66],
  ]
])

# カーネル(3x3)
W = np.array([
  [ # channel 
    [11,12,13],
    [21,22,23],
    [31,32,33],
  ]
])

padding = 0
stride = 1
no-bias
```

畳み込みの逆伝播の計算方法を視覚的に教えてください。

### 前提・実現したいこと

題の通りです。
http://blog.abars.biz/archives/52453748.html
https://catdance124.hatenablog.jp/entry/2019/07/30/174908
こちらを参考にしつつ、DIGITS6.1.1で作成したcaffeモデルをkerasのモデルに変換しようと試みているのですが、うまくいきません。また、エラーメッセージについても検索にかけましたがよくわかりませんでした。

### 発生している問題・エラーメッセージ

```
mmconvert: error: the following arguments are required: --dstFramework/-df
```

### 該当のソースコード

```
(ENV_NAME) C:\Users\user>mmconvert --srcFramework caffe --inputWeight C:/~/caffemodel/snapshot_iter_750.caffemodel --inputNetwork C:/~/caffemodel/train_val.prototxt --dstFamework keras --outputModel SGD30.h5 --inputShape 30,3,256,256
```
### 追記
caffeをちゃんと入れていなかったようだったので以下を参考に入れました。https://mugichoko.hatenablog.com/entry/2017/10/31/044806

また、この後いろんなサイトを参考にしながらinputShapeを3 227 227に変更しかつ変換したいモデルのある場所で回してみたところ、エラーが以下のように変わりました。
```
(ENV_NAME) C:\Users\user\Desktop\keras-grad-cam-master\caffemodel>mmconvert --srcFramework caffe --inputWeight SgdAlex30.caffemodel --inputNetwork train_val.prototxt --dstFramework keras --outputModel SgdAlex30.h5 --inputShape 3 227 227
```
```
WARNING: Logging before InitGoogleLogging() is written to STDERR
I1027 13:37:01.994166 12988 upgrade_proto.cpp:67] Attempting to upgrade input file specified using deprecated input fields: C:\Users\user\AppData\Local\Temp\tmpj05vocvw.prototxt
(中略)
RuntimeError: Could not open file C:\Users\user\AppData\Local\Temp\tmpj05vocvw.prototxt
```
~~該当のファイルがそもそも見つからず、、、caffeの問題なのでしょうか。
また、「開けない」と言われたファイルのディレクトリを絶対パスに通すと良いというのを見つけたのでやってみましたが特に変わりはありませんでした。~~
inputNetworkのファイルをtrain_val.prototxtからdeploy.prototxtファイルにしたところ、
```
Check failed: count_ == proto.data_size() (34848 vs. 0)
```
といったエラーに変わりました。しらべたところ、訓練に用いたcaffeのバージョン(GPU,0.17.0)と今回の変換用のバージョン(CPU,1.0?)が違うとこのように表示されるようでした。
ですので、GPU版のものを入れようと思うのですが、そのまま入れてしまって大丈夫なのでしょうか。
### （補足情報）

python3.5(Anaconda3)上のコマンドプロンプトを使用しています

mmdnnでcaffeモデルからkerasモデルへの変換

C++で書かれているcaffe（２でないほう）のコードがあります。
これをpython2.7に直したいのです。
まずC++のコードを書きました
```cpp

#include <stdio.h>  // for snprintf
#include <cuda_runtime.h>
#include <google/protobuf/text_format.h>
#include <string>
#include <vector>
#include <iostream>
#include <fstream>

#include "caffe/blob.hpp"
#include "caffe/common.hpp"
#include "caffe/net.hpp"
#include "caffe/vision_layers.hpp"
#include "caffe/proto/caffe.pb.h"
#include "caffe/util/io.hpp"
#include "caffe/util/image_io.hpp"

int main(int argc, char** argv) {

  char * MODEL_FILE = "/home/kokawa2003/work/ww2/C3D-v1.0/python/prototxt/c3d_sport1m_feature_extractor_file.prototxt";
  char * PRETRAINED = "/home/kokawa2003/work/ww2/C3D-v1.0/python/conv3d_deepnetA_sport1m_iter_1900000";
  char * LAYER = "fc6-1";
  int INDEX = 0;




  Caffe::set_phase(Caffe::TEST);
  shared_ptr<Net<Dtype> > feature_extraction_net(
      new Net<Dtype>(string(MODEL_FILE)));
  feature_extraction_net->CopyTrainedLayersFrom(string(PRETRAINED));

  Caffe::set_mode(Caffe::GPU);
  Caffe::SetDevice(0);
  vector<Blob<float>*> input_vec;
  feature_extraction_net->Forward(input_vec);
  const shared_ptr<Blob<Dtype> > feature_blob = feature_extraction_net
        ->blob_by_name(LAYER);
  int num_features = feature_blob->num();
  int ch=feature_blob->channels(); 
  int len=feature_blob->length() ;
  int h=feature_blob->height();
  int w=feature_blob->width() ;
  int c=feature_blob->count(); 
  LOG(ERROR) <<ch;
  LOG(ERROR) <<num_features;
  LOG(ERROR) <<h;
  LOG(ERROR) <<w;
  LOG(ERROR) <<c;  
  Dtype *mc=feature_blob->mutable_cpu_data();
       for(int i=0;i<c;i++){
             LOG(ERROR)<<mc[i];
       }  
   return 0;
}

```
このコードなのですが
最初に
Caffe::set_phase(Caffe::TEST);
から始まりますが、これが
  shared_ptr<Net<Dtype> > feature_extraction_net(
      new Net<Dtype>(string(MODEL_FILE)));
の下に来るとどうも、最後の出力が毎回変わるのがわかりました。それでこのコードなのです。
これと同じことをpythonでしたかったので
このコードをかきました。

```python
import sys, os, os.path, numpy, caffe
import inspect

MODEL_FILE = '/home/kokawa2003/work/ww2/C3D-v1.0/python/prototxt/c3d_sport1m_feature_extractor_file.prototxt'
PRETRAINED = '/home/kokawa2003/work/ww2/C3D-v1.0/python/conv3d_deepnetA_sport1m_iter_1900000'
LAYER = 'fc6-1'
INDEX = 0

res=inspect.getmembers(caffe.Net);



#net = caffe.Classifier(MODEL_FILE)
net = caffe.Net(MODEL_FILE,PRETRAINED)
net.set_phase_test()
net.set_mode_gpu()  
net.set_device(0)
net = caffe.Net(MODEL_FILE,PRETRAINED)
net.forward()
blob=net.blobs['fc6-1']
#features = blob.data.copy()
#funcs=inspect.getmembers(blob)
#net.blobs['fc6-1'].cpu_data() 
#features.cpu_data()
print(blob.channels)
print(blob.num)
print(blob.height)
print(blob.width)
print(blob.count)
#print(len(blob.data))
#print(len(blob.data[0]))
for onedata1 in blob.data:    
   for one2 in onedata1:
      print(one2)
#print(blob.data[0]);

```
これで同等な出力が出るのは見ましたがコードがちょっとアレです。
とくに
net = caffe.Net(MODEL_FILE,PRETRAINED)
net.set_phase_test()
net.set_mode_gpu()  
net.set_device(0)
net = caffe.Net(MODEL_FILE,PRETRAINED)
のあたりが....
netを二回読んでいるのは読む前にnet.set_phase_test()
をしたかったがやり方がわからないからです。
２回目のnet = caffe.Net(MODEL_FILE,PRETRAINED)を取ると出力が毎回変わります。
本当はどう書くのがいいのでしようか？
動いているからいいとも思うが、偶然かもしれない。
ちょっとアブノーマルだと思うので正しい書き方を知りたいです。

pythonのcaffeコードを直せない。

### 実現したいこと

Mask R-CNNで1枚の画像から車を検出をしました．  
**重複して抽出したものをどのように処理するのが一般的か**知りたいです．

### 前提

- 学会で車を検出する深層学習＋画像処理手法の提案をしたい．
- Mask R-CNNは比較手法なので，特別精度を上げたいわけでない．
- Pytorchを使って実装，学習，推論は完了．
- Mask R-CNNがRPN（領域提案ネットワーク）が提案したRoIそれぞれについてマスクを出してくれており，一つの車に対して複数のマスクが出ている．
- 画像には4~18台の車が含まれる．大きく重なっている車もあれば，独立しているものもある．

### お聞きしたいこと

以下のように，**Confidence Score（確信度）が低いものを削除する**のが素直だと思いますが，合っていますでしょうか？

Validationデータで：
1. 閾値t=0.5とする．
1. 閾値以下のConfidence Scoreのマスクを削除する．
1. 残ったマスクは全て抽出されたとして，AP，ARのような指標で評価する．
1. 1~3を様々なtについて繰り返す．

Testデータで：
1. Validationデータで最適だった閾値tを使ってマスクを選別．
1. AP，ARなどで評価する．

他にも以下のようなことが考えられると思います．

- Confidence Scoreでフィルタせず，そのまま使う．
- RPNの提案する領域候補の数を最適化すべき．

Mask R-CNNは比較手法にすぎないので，どこまでやれば専門家から指摘が入らなくなるか，感覚でも良いので教えてほしいです．

よろしくお願い致します．

### 調査したこと・試したこと（追記）

簡単にConfidence Scoreの閾値を変化させて実験しました．

- Confidence Scoreで閾値（t=0.9）で選別すると，しなかったときに比べて，
  - 抽出したマスクの精度が向上する
  - 未抽出の車が増える
- Confidence Scoreで閾値（t=0.2）で選別すると，t=0.5に比べて，
  - 抽出したマスクの精度が低下する
  - 未抽出の車は減る

やはり閾値を変化させることによって，精度は変化しそうです．最適化によってAP，ARのバランスが最適になる値を見つける必要があるのでしょうか．

また調査もしたのですが，

- Mask R-CNNの原論文では，RPNで12,000個を提案し，IoUが0.7以上のものを1つにし，残ったものをさらにNMSで2,000個に減らしている．
- 他のブログとかも20ほど目を通したのですが，抽出結果をどのように選別するのかに言及しているものは見つからず．

という現状です．なにとぞ，回答よろしくお願い致します…!!!