配列×行列のshapeが1次元にも2次元にもなっている場合？

Question

配列と行列の掛け算について質問です。
3層のニューラルネットワークを作っていたのですが、

0層から1層目のA1のshapeが(3,)になっていることからわかる通り、
A1は要素3個の1次元配列((2,)×(2, 3))となっています。
行列×配列の公式をググっても見つからなかったので、
↑の式を「列と行の要素がそろった部分((2,)と(2,3)のうちの(2))の部分が消えて3のみが残るので1次元配列になる」と解釈していました。)

ですが、1層目から2層目の出力結果を見てみると
A2は**(1, 2)の2次元配列**となっていました((3,)×(3, 2))
なぜ2層目からは2次元配列となるのでしょうか？

import numpy as np

def sigmoid(x):
    return np.array(1 / (1 + np.exp(-x)))

# 0層目(入力層)から1層目(中間層)の実装例
X = np.array([1,2])
w1 = np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]])
b1 = np.array([0.1,0.2,0.3])
A1 = np.dot(X,w1)+b1
Z1 = sigmoid(A1)


# 1-2
w2 = np.array([[0.1,0.4],[0.2,0.5],[0.3,0.6]])
b2 = np.array([[0.1,0.2]])
A2 = np.dot(Z1,w2)+b2
Z2 = sigmoid(A2)


# 2-3
def identity_function(x):
    return x

w3 = np.array([[0.1,0.3],[0.2,0.4]])
b3 = np.array([[0.1,0.2]])
A3 = np.dot(Z2,w3)+b3
Z3 = identity_function(A3)

各変数のshape

X.shape: (2,)
w1.shape: (2, 3)
A1.shape: (3,)
---------------------------
Z1.shape: (3,)
w2.shape: (3, 2)
A2.shape: (1, 2)
---------------------------
(1, 2)
(2, 2)
(1, 2)
Z3: [[0.32403126 0.71230655]]

Answer 1

なぜ2層目からは2次元配列となるのでしょうか？

np.dot(Z1, w2) の結果が形状が (2,) の numpy 配列で、それに形状が (1, 2) の numpy 配列 b2 を足そうとしたので、ブロードキャストにより、その結果も形状が (1, 2) の numpy 配列になります。

b1 は1次元配列となっていますが、b2 は2次元配列として定義されています。

b2 = np.array([[0.1,0.2]])

Comments

[esklia]

すみません、私がb2,b3の次元が2次元になるようタイプミスしていました…本来はb2,b3は一次元でした。ところで、計算結果は1次元でも2次元でも変わらないと思うのですが、ニューラルネットワークの実装において、この場合のb1,b2,b3の次元は1次元であろうが2次元であろうがあまり関係ないという解釈はあっていますでしょうか？当方、これから数学で行列を本格的に勉強する予定ですので間違っていたらすみません。

[tiitoi]

> 1次元であろうが2次元であろうがあまり関係ないという解釈はあっていますでしょうか？

今回の場合は、計算結果は変わらないので、どちらでもいいです。

[esklia]

タイプミスに気付かず質問してしまい申し訳ありません。非常に勉強になりました、どうもありがとうございました。