pythonのcaffeコードを直せない。

Question

C++で書かれているcaffe（２でないほう）のコードがあります。
これをpython2.7に直したいのです。
まずC++のコードを書きました

#include <stdio.h>  // for snprintf
#include <cuda_runtime.h>
#include <google/protobuf/text_format.h>
#include <string>
#include <vector>
#include <iostream>
#include <fstream>

#include "caffe/blob.hpp"
#include "caffe/common.hpp"
#include "caffe/net.hpp"
#include "caffe/vision_layers.hpp"
#include "caffe/proto/caffe.pb.h"
#include "caffe/util/io.hpp"
#include "caffe/util/image_io.hpp"

int main(int argc, char** argv) {

  char * MODEL_FILE = "/home/kokawa2003/work/ww2/C3D-v1.0/python/prototxt/c3d_sport1m_feature_extractor_file.prototxt";
  char * PRETRAINED = "/home/kokawa2003/work/ww2/C3D-v1.0/python/conv3d_deepnetA_sport1m_iter_1900000";
  char * LAYER = "fc6-1";
  int INDEX = 0;




  Caffe::set_phase(Caffe::TEST);
  shared_ptr<Net<Dtype> > feature_extraction_net(
      new Net<Dtype>(string(MODEL_FILE)));
  feature_extraction_net->CopyTrainedLayersFrom(string(PRETRAINED));

  Caffe::set_mode(Caffe::GPU);
  Caffe::SetDevice(0);
  vector<Blob<float>*> input_vec;
  feature_extraction_net->Forward(input_vec);
  const shared_ptr<Blob<Dtype> > feature_blob = feature_extraction_net
        ->blob_by_name(LAYER);
  int num_features = feature_blob->num();
  int ch=feature_blob->channels(); 
  int len=feature_blob->length() ;
  int h=feature_blob->height();
  int w=feature_blob->width() ;
  int c=feature_blob->count(); 
  LOG(ERROR) <<ch;
  LOG(ERROR) <<num_features;
  LOG(ERROR) <<h;
  LOG(ERROR) <<w;
  LOG(ERROR) <<c;  
  Dtype *mc=feature_blob->mutable_cpu_data();
       for(int i=0;i<c;i++){
             LOG(ERROR)<<mc[i];
       }  
   return 0;
}

このコードなのですが
最初に
Caffe::set_phase(Caffe::TEST);
から始まりますが、これが
shared_ptr<Net<Dtype> > feature_extraction_net(
new Net<Dtype>(string(MODEL_FILE)));
の下に来るとどうも、最後の出力が毎回変わるのがわかりました。それでこのコードなのです。
これと同じことをpythonでしたかったので
このコードをかきました。

import sys, os, os.path, numpy, caffe
import inspect

MODEL_FILE = '/home/kokawa2003/work/ww2/C3D-v1.0/python/prototxt/c3d_sport1m_feature_extractor_file.prototxt'
PRETRAINED = '/home/kokawa2003/work/ww2/C3D-v1.0/python/conv3d_deepnetA_sport1m_iter_1900000'
LAYER = 'fc6-1'
INDEX = 0

res=inspect.getmembers(caffe.Net);



#net = caffe.Classifier(MODEL_FILE)
net = caffe.Net(MODEL_FILE,PRETRAINED)
net.set_phase_test()
net.set_mode_gpu()  
net.set_device(0)
net = caffe.Net(MODEL_FILE,PRETRAINED)
net.forward()
blob=net.blobs['fc6-1']
#features = blob.data.copy()
#funcs=inspect.getmembers(blob)
#net.blobs['fc6-1'].cpu_data() 
#features.cpu_data()
print(blob.channels)
print(blob.num)
print(blob.height)
print(blob.width)
print(blob.count)
#print(len(blob.data))
#print(len(blob.data[0]))
for onedata1 in blob.data:    
   for one2 in onedata1:
      print(one2)
#print(blob.data[0]);

これで同等な出力が出るのは見ましたがコードがちょっとアレです。
とくに
net = caffe.Net(MODEL_FILE,PRETRAINED)
net.set_phase_test()
net.set_mode_gpu()
net.set_device(0)
net = caffe.Net(MODEL_FILE,PRETRAINED)
のあたりが....
netを二回読んでいるのは読む前にnet.set_phase_test()
をしたかったがやり方がわからないからです。
２回目のnet = caffe.Net(MODEL_FILE,PRETRAINED)を取ると出力が毎回変わります。
本当はどう書くのがいいのでしようか？
動いているからいいとも思うが、偶然かもしれない。
ちょっとアブノーマルだと思うので正しい書き方を知りたいです。

Comments

[KoichiSugiyama]

#include "caffe/blob.hpp"　とありますので、Blobの実態はこのヘッダファイルを見てみればわからないですかね？他にcaffe/blob.cppとかがもしあるなら、mutable_cpu_data()が何をやっているか見つかるように思えますが。どうでしょうか。

[kokawa2003]

blob.cppではこうなってます
template <typename Dtype>
Dtype* Blob<Dtype>::mutable_cpu_data() {
CHECK(data_);
return reinterpret_cast<Dtype*>(data_->mutable_cpu_data());
}
でこのdata_はヘッダからわかる情報では
shared_ptr<SyncedMemory> data_;

[kokawa2003]

でさらに
void* SyncedMemory::mutable_cpu_data() {
to_cpu();
head_ = HEAD_AT_CPU;
return cpu_ptr_;
}

[kokawa2003]

でさらに
inline void SyncedMemory::to_cpu() {
switch (head_) {
case UNINITIALIZED:
CaffeMallocHost(&cpu_ptr_, size_);
memset(cpu_ptr_, 0, size_);
head_ = HEAD_AT_CPU;
own_cpu_data_ = true;
break;
case HEAD_AT_GPU:
if (cpu_ptr_ == NULL) {
CaffeMallocHost(&cpu_ptr_, size_);
own_cpu_data_ = true;
}
CUDA_CHECK(cudaMemcpy(cpu_ptr_, gpu_ptr_, size_, cudaMemcpyDeviceToHost));
head_ = SYNCED;
break;
case HEAD_AT_CPU:
case SYNCED:
break;
}
}

[kokawa2003]

そもそも
print(net.blobs['fc6-1'].channels)
print(net.blobs['fc6-1'].num)
#net.blobs['fc6-1'].length
print(net.blobs['fc6-1'].height)
print(net.blobs['fc6-1'].width)
print(net.blobs['fc6-1'].count)
みたいにアクセスできるものとそうでないものとをどう区別しているかもわかっていない

[kokawa2003]

あとこれを真似て
pythonでnet.blobs['fc6-1'].dataとするとこれはnumpyなのでなにもできない

[kokawa2003]

明日もう一回別スレたてます