質問編集履歴

2022/01/23 07:51

投稿

wagashi_157

スコア51

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,359 +1,180 @@
-#実現したいこと
+# 実現したいこと
 ファイルから入力層のニューロン数N, 隠れ層のニューロン数L, 出力層のニューロン数M, データの数Tを読み込み, xor関数を隠れ層ニューロン数2個のネットワークで学習したいです。
-#今起きている問題
+# 今起きている問題
-学習後の誤差関数Eの値を表示しているのですが, 乱数で実装していることもあり学習に失敗するケースがあるところまでは承知しています。自分でなるべくxやyなどなるべく大きく配列を設定しました。しかし, Eの値が0.01以下になるようにしたいのにも関わらず, だいたい1.9の値を取っているため思ったような実装ができていません。その原因が分からないので, 教えていただきたいです。
+学習後の誤差関数Eの値を表示しているのですが, 乱数で実装していることもあり学習に失敗するケースがあるところまでは承知しています。しかし, Eの値が0.01以下になるようにしたいのにも関わらず, だいたい1.9の値を取っているため思ったような実装ができていません。その原因が分からないので, 教えていただきたいです。
-#実装コード・結果
+# 実装コード・結果
 ```C++
 #include<iostream>
 #include<cmath>
 #include<cstdlib>
 using namespace std;
 double neuron(double x[], double weight[], double b, int n){
   double sum=0;
   for (int i=0; i<n; i++) {
     sum+=x[i]*weight[i];
   }
   sum+=b;
   return 1/(1+exp(-sum));
 }
 int main() {
   int N;
   int L;
   int M;
   int T;
   double E;
   cin>>N>>L>>M>>T;
   double x[200][10];
   double z[10];
   double y[10];
   double v[10];
   double t[200][10];
   double gamma=5;
   double w1[10][10];
   double w2[10][10];
   double b1[10];
   double b2[10];
   srand((unsigned)time(NULL));
   for (int k=0; k<L; k++) {
     for (int i=0; i<N; i++) {
       w1[k][i]=(double)rand()/((double)RAND_MAX+1);
     }
     b1[k]=(double)rand()/((double)RAND_MAX+1);
   }
   for (int j=0; j<M; j++) {
     for (int k=0; k<L; k++) {
       w2[j][k]=(double)rand()/((double)RAND_MAX+1);
     }
     b2[j]=(double)rand()/((double)RAND_MAX+1);
   }
   for(int c=0; c<1000; c++) {
     for(int p=0; p<T; p++) {
       for(int k=0; k<L; k++) {
         z[k]=neuron(x[p],w1[k],b1[k],N);
       }
       for (int j=0; j<M; j++) {
         y[j]=neuron(z,w2[j],b2[j],L);
       }
       for (int k=0; k<L; k++){
         v[k]=0;
         for(int j=0; j<M; j++){
           v[k]+=(y[j]-t[p][j])*(1-y[j])*y[j]*w2[j][k];
         }
       }
       for (int j=0; j<M; j++) {
         for (int k=0; k<L; k++) {
           w2[j][k]-=gamma*z[k]*(y[j]-t[p][j])*(1-y[j])*y[j];
         }
         b2[j]-=gamma*(y[j]-t[p][j])*(1-y[j])*y[j];
       }
       for (int k=0; k<L; k++) {
         for (int i=0; i<N; i++) {
           w1[k][i]-=gamma*x[p][i]*(1-z[k])*z[k]*v[k];
         }
         b1[k]-=gamma*(1-z[k])*z[k]*v[k];
       }
     }
   }
   for (int p=0; p<T; p++) {
     for (int i=0; i<N; i++) {
       cin>>x[p][i];
     }
     for (int j=0; j<M; j++) {
       cin>>t[p][j];
     }
     cout<<"x:";
     for(int i=0; i<N; i++){
       cout<<x[p][i]<<" ";
     }
     cout<<"z:";
     for(int k=0; k<L; k++){
       z[k]=neuron(x[p],w1[k],b1[k],N);
       cout<<z[k]<<" ";
     }
     cout<<"y:";
     for(int j=0; j<M; j++){
       y[j]=neuron(z,w2[j],b2[j],L);
       E+=(t[p][j]-y[j])*(t[p][j]-y[j]);
       cout<<y[j]<<" ";
     }
     cout<<endl;
   }
   cout<<"E:"<<E<<endl;
   for(int k=0; k<L; k++){
     cout<<"z"<<k<<" ";
     cout<<"w1:";
     for(int i=0; i<N; i++){
       cout<<w1[k][i]<<" ";
     }
     cout<<"b1:";
     cout<<b1[k]<<endl;
   }
   for(int j=0; j<M; j++) {
     cout<<"y"<<j<<" ";
     cout<<"w2:";
     for(int k=0; k<L; k++) {
       cout<<w2[j][k]<<" ";
     }
     cout<<"b2:";
     cout<<b2[j]<<endl;
   }
   return 0;
 }
 ```
 ```xor.txt
 2 2 1 4 //xor.txt
 0 0 0
 1 0 1
 0 1 1
 1 1 0
 ```
 **実行結果**
 $./a.exe<xor.txt
 x:0 0 z:0.724001 0.748752 y:0.00337414
 x:1 0 z:0.735373 0.782302 y:0.00313582
 x:0 1 z:0.778374 0.842381 y:0.0026458
 x:1 1 z:0.788161 0.865672 y:0.00250641
 E:1.98847
 z0 w1:0.0576604 0.291822 b1:0.964394
 z1 w1:0.187169 0.584085 b1:1.09196
 y0 w2:-1.71473 -1.60915 b2:-3.24191
 x:0 0 z:0.658774 0.775888 y:0.00337317
 x:1 0 z:0.806224 0.831015 y:0.00237437
 x:0 1 z:0.832161 0.856353 y:0.00215879
 x:1 1 z:0.91442 0.894382 y:0.0017471
 E:1.99096
 z0 w1:0.767824 0.943183 b1:0.657835
 z1 w1:0.350974 0.543466 b1:1.24186
 y0 w2:-1.58821 -2.13942 b2:-2.98231
 x:0 0 z:0.677479 0.578337 y:0.00358413
 x:1 0 z:0.844232 0.702535 y:0.00222868
 x:0 1 z:0.835425 0.727025 y:0.00219048
 x:1 1 z:0.929065 0.820985 y:0.00162254
 E:1.99119
 z0 w1:0.947847 0.882365 b1:0.74221
 z1 w1:0.543451 0.663632 b1:0.31595
 y0 w2:-1.83804 -1.36851 b2:-3.59096
 x:0 0 z:0.735721 0.798222 y:0.00329615
 x:1 0 z:0.800865 0.905335 y:0.00236951
 x:0 1 z:0.829731 0.865813 y:0.00245969
 x:1 1 z:0.87562 0.939754 y:0.00195537
 E:1.99037
 z0 w1:0.367866 0.559878 b1:1.02384
 z1 w1:0.882749 0.489222 b1:1.37522
 y0 w2:-1.60078 -2.11665 b2:-2.84442
-#試したこと
+# 試したこと
 まず, xやyの配列がdouble型になっているかを確認しました。その次に, Eを求めるところで(t[p][j]-y[j])*(t[p][j]-y[j])を(y[j]-t[p][j])*(y[j]-t[p][j])と値の順序を変えてみました。
-#補足
+# 補足
 C++17を使用しています。

深層学習ファイル機械学習 C++ネットワーク

空の配列をなるべく大きくしたいということを追記した。

2022/01/08 13:50

投稿

wagashi_157

スコア51

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -4,7 +4,7 @@
 #今起きている問題
-学習後の誤差関数Eの値を表示しているのですが, 乱数で実装していることもあり学習に失敗するケースがあるところまでは承知しています。しかし, Eの値が0.01以下になるようにしたいのにも関わらず, だいたい1.9の値を取っているため思ったような実装ができていません。その原因が分からないので, 教えていただきたいです。
+学習後の誤差関数Eの値を表示しているのですが, 乱数で実装していることもあり学習に失敗するケースがあるところまでは承知しています。自分でなるべくxやyなどなるべく大きく配列を設定しました。しかし, Eの値が0.01以下になるようにしたいのにも関わらず, だいたい1.9の値を取っているため思ったような実装ができていません。その原因が分からないので, 教えていただきたいです。
 #実装コード・結果