MPIにおける多次元vector配列の送受信について

Question

並列計算ライブラリMPIを使う際に、多次元vector配列の送受信を行いたいと考えています。送受信を行う際に、多次元vector配列の先頭アドレスが必要になるのですが、例えば以下のサンプルのように(ここではわざわざvectorを使う必要はありませんが)MPI_Reduceを書いても上手くいきません。ちなみにvectorを使わないと成功します。

どなたか教えていただけるとありがたいです。

以下のサンプルは成功するとwの全要素に3が入ります。
使用ライブラリはOpen MPI 2.0.1です。

#include <mpi.h>
#include <iostream>
#include <vector>

using namespace std;

int main(int argc, char **argv){

  int i, j, k, my_rank, p;
  int n_value = 2;
  int n_visible = 3;
  int n_hidden = 4;

  std::vector<std::vector<std::vector<double>>> w;
  std::vector<std::vector<std::vector<double>>> vect3d;

  MPI_Init(&argc, &argv);
  MPI_Comm_rank(MPI_COMM_WORLD, &my_rank);
  MPI_Comm_size(MPI_COMM_WORLD, &p);

  w.resize(n_value);
  for(auto &ref :w) {
    ref.resize(n_visible);
    for(auto &ref2 :ref){
      ref2.resize(n_hidden);
      for(auto &ref3 :ref2){
        ref3 = 0.0;
      }
    }
  }

  vect3d.resize(n_value);
  for(auto &ref :vect3d) {
    ref.resize(n_visible);
    for(auto &ref2 :ref){
      ref2.resize(n_hidden);
      for(auto &ref3 :ref2){
        ref3 = (double)my_rank;
      }
    }
  }

  if(my_rank==0){
    for(i=0; i<n_value; i++){
      for(j=0; j<n_visible; j++){
        for(k=0; k<n_hidden; k++){
          printf("w[%d][%d][%d]=%f \n", i, j, k, w[i][j][k]);
        }
      }
    }
     printf("\n");
  }

  MPI_Reduce(&vect3d[0][0][0], &w[0][0][0], n_value * n_visible * n_hidden, MPI_DOUBLE, MPI_SUM, 0, MPI_COMM_WORLD);

  if(my_rank==0){
    for(i=0; i<n_value; i++){
      for(j=0; j<n_visible; j++){
        for(k=0; k<n_hidden; k++){
          printf("w[%d][%d][%d]=%f \n", i, j, k, w[i][j][k]);
        }
      }
    }
    printf("\n");
  }

  MPI_Finalize();
  return 0;
}

$ mpic++ -std=c++11 vect_test.cpp -o vect_test
$ mpirun -np 3 ./vect_test
w[0][0][0]=0.000000 
w[0][0][1]=0.000000 
w[0][0][2]=0.000000 
w[0][0][3]=0.000000 
w[0][1][0]=0.000000 
w[0][1][1]=0.000000 
w[0][1][2]=0.000000 
w[0][1][3]=0.000000 
w[0][2][0]=0.000000 
w[0][2][1]=0.000000 
w[0][2][2]=0.000000 
w[0][2][3]=0.000000 
w[1][0][0]=0.000000 
w[1][0][1]=0.000000 
w[1][0][2]=0.000000 
w[1][0][3]=0.000000 
w[1][1][0]=0.000000 
w[1][1][1]=0.000000 
w[1][1][2]=0.000000 
w[1][1][3]=0.000000 
w[1][2][0]=0.000000 
w[1][2][1]=0.000000 
w[1][2][2]=0.000000 
w[1][2][3]=0.000000 

w[0][0][0]=3.000000 
w[0][0][1]=3.000000 
w[0][0][2]=3.000000 
w[0][0][3]=3.000000 
w[0][1][0]=3.000000 
w[0][1][1]=0.996108 
w[0][1][2]=3.000000 
w[0][1][3]=3.000000 
w[0][2][0]=0.000000 
w[0][2][1]=0.000000 
w[0][2][2]=0.000000 
w[0][2][3]=0.000000 
w[1][0][0]=0.000000 
w[1][0][1]=0.000000 
w[1][0][2]=0.000000 
w[1][0][3]=0.000000 
w[1][1][0]=0.000000 
w[1][1][1]=0.000000 
w[1][1][2]=0.000000 
w[1][1][3]=0.000000 
w[1][2][0]=0.000000 
w[1][2][1]=0.000000 
w[1][2][2]=0.000000 
w[1][2][3]=0.000000 

vect_test(47908,0x7fff9b8e73c0) malloc: *** error for object 0xff7f8e9782d0: pointer being freed was not allocated
*** set a breakpoint in malloc_error_break to debug
[] *** Process received signal ***
[] Signal: Abort trap: 6 (6)
[] Signal code:  (0)
[] [ 0] 0   libsystem_platform.dylib            0x00007fff92dd4bba _sigtramp + 26
[] [ 1] 0   ???                                 0x000000011a78e968 0x0 + 4739098984
[] [ 2] 0   libsystem_c.dylib                   0x00007fff92c5b420 abort + 129
[] [ 3] 0   libsystem_malloc.dylib              0x00007fff92d4b097 szone_size + 0
[] [ 4] 0   libopen-pal.20.dylib                0x000000010d60450f mca_base_var_enum_destructor + 52
[] [ 5] 0   libmpi.20.dylib                     0x000000010d4917ab ompi_win_finalize + 354
[] [ 6] 0   libmpi.20.dylib                     0x000000010d4901fb ompi_mpi_finalize + 870
[] [ 7] 0   vect_test                           0x000000010d4655ea main + 4906
[] [ 8] 0   libdyld.dylib                       0x00007fff92bc7255 start + 1
[] *** End of error message ***
--------------------------------------------------------------------------
mpirun noticed that process rank 0 with PID 0 on node !my_name! exited on signal 6 (Abort trap: 6).
--------------------------------------------------------------------------

Answer 1

MPIって動的配列の場合の大きさが変化するとエラー。だから動的配列でも宣言の時に大きさを定義すると通るはずですが。
std::vector<std::vector<std::vector<double>>> w;を std::vector<std::vector<std::vector<double>>> w(3);とか。

Comments

[hinatades]

回答ありがとうございます！
1次元vector配列だと教えてくださった書き方で書けるようですが、2次元以上の場合、例えば3次元だったら
// int vvvi[30][20][10]
vector<vector<vector<int>>> vvi(30, vector<vector<int>>(20, vector<int>(10, 0)));
のように書いて大きさを定義するようです。

Answer 2

こんにちは。

MPIについては知らないのですがMPI_Reduce()のパラメータを見る限り、連続領域へのポインタを渡す必要があるように見えます。
しかし、std::vector<>の多次元配列の記憶領域は連続しません。std::vector<>の多次元配列はジャグ配列ですから。

Comments

[hinatades]

回答ありがとうございます！
教えてくださったように、std::vector<>の多次元配列の記憶領域が連続しないことが原因のようです。1次元vector、もしくはboostライブラリのboost::multi_arrayというのもあるらしいのでそちらを使って書き換えたいと思います！

[episteme]

std::valarray<T>てのもあるよー

[hinatades]

ありがとうございます！試してみます！