numpyでの行列計算

Question

私は簡単なディープラーニングのプログラムを作ろうと思っています。
しかし、numpyでの行列計算ができません。
printで出力している通り、11と13の計算なので出来るはずです。

なぜ計算ができないのでしょうか？

%matplotlib inline

import numpy as np
import matplotlib.pyplot as plt

INPUT_DATA = np.arange(0,np.pi*2,0.1)
CORRECT_DATA = np.sin(INPUT_DATA)
WEIGHT = 0.1

class Layer:
    def __init__(this,input_num,output_num):
        this.w = WEIGHT * np.random.randn(input_num,output_num)
        this.b = WEIGHT * np.random.randn(output_num)
        
    def forward(this,x):
        print(x,this.w)
        this.y = np.dot(x,this.w)
        print(this.y)
        
layer = Layer(1,3)
output = Layer(3,1)

layer.w = np.array([0.1,0.2,0.3])
output.w = np.array([0.1])

plot_x = []
plot_y = []

for i in range(10):
    layer.forward(np.array([i]).reshape(1))
    output.forward(layer.y)
    
    plot_x.append(i)
    plot_y.append(layer.y)

print(layer.w,layer.b)
print(output.w,output.b)
plt.scatter(plot_x,plot_y,marker="+")
plt.show()

[0] [0.1 0.2 0.3]

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-3-633891e69ff3> in <module>()
     28 
     29 for i in range(10):
---> 30     layer.forward(np.array([i]).reshape(1))
     31     output.forward(layer.y)
     32 

<ipython-input-3-633891e69ff3> in forward(this, x)
     15     def forward(this,x):
     16         print(x,this.w)
---> 17         this.y = np.dot(x,this.w)
     18         print(this.y)
     19 

ValueError: shapes (1,) and (3,) not aligned: 1 (dim 0) != 3 (dim 0)

Comments

[tiitoi]

(1, 1) と (3, 1) の行列積は計算できないと思います。(l, m) と (m, n) のように m の部分が一致していないと行列積は定義されません。

[.Won]

(縦,横)表記ですよね？(横,縦)になってました。ありがとうございます。

Answer 1

ニューラルネットワークの各層の計算式を確認してください。

質問のコードを正しくすると以下のようになります。

import numpy as np
import matplotlib.pyplot as plt

INPUT_DATA = np.arange(0, np.pi * 2, 0.1)
CORRECT_DATA = np.sin(INPUT_DATA)
WEIGHT = 0.1

class Layer:
    def __init__(self, input_num, output_num):
        self.w = WEIGHT * np.random.randn(input_num, output_num)
        self.b = WEIGHT * np.random.randn(output_num)

    def forward(self, x):
        print('{} * {} + {}'.format(x.shape, self.w.shape, self.b.shape))
        self.y = np.dot(x, self.w) + self.b

layer = Layer(1, 3)
output = Layer(3, 1)

layer.w = np.array([0.1, 0.2, 0.3]).reshape(1, 3)  # 重みの形状は In x Out
output.w = np.array([0.1, 0.2, 0.3]).reshape(3, 1) # 重みの形状は In x Out

plot_x = []
plot_y = []

for i in range(10):
    layer.forward(np.array([i]).reshape(1, -1))  # 入力の形状は (1, In)
    output.forward(layer.y)
    
    output_value = np.asscalar(output.y)  # (1, 1) -> (1,)

    plot_x.append(i)
    plot_y.append(output_value)

plt.scatter(plot_x, plot_y, marker="+")
plt.show()