ロジスティック回帰のソフトマックス関数の実装について

Question

前提・実現したいこと

以下の画像のようなソフトマックス関数を実装したいです。
ただし、入力をx=x_1,x_2,...,x_D)^T（D×1行列）として考えています。

困っている詳細内容

画像のz_kを求める為のソフトマックス関数の定義は書く事ができました。

def softmax(a):
    u = np.exp(a)
    return u/np.sum(u)

実際にこれを用いてipython上で実行してみると

In [1]: import numpy as np                                                      

In [2]: def softmax(a): 
   ...:     u = np.exp(a) 
   ...:     return u/np.sum(u)                                                                        
In [3]: softmax([1,2,3])                                                        
Out[3]: array([0.09003057, 0.24472847, 0.66524096])

となり、かけている事がわかります。
次に、y_kの実装ですが以下のソースコードに合わせて実装する方法がイマイチ分かっていません。

ソースコード

学習データを作成する為のプログラム(makeGaussianData.py)

import numpy as np

def getData(nclass, seed = None):
    assert nclass == 2 or nclass == 3

    if seed != None:
        np.random.seed(seed)

    # 2次元の spherical な正規分布3つからデータを生成
    X0   = 0.10 * np.random.randn(200, 2) + [ 0.3, 0.3 ]
    X1   = 0.10 * np.random.randn(200, 2) + [ 0.7, 0.6 ]
    X2   = 0.05 * np.random.randn(200, 2) + [ 0.3, 0.7 ]

    # それらのラベル用のarray
    lab0 = np.zeros(X0.shape[0], dtype = int)
    lab1 = np.zeros(X1.shape[0], dtype = int) + 1
    lab2 = np.zeros(X2.shape[0], dtype = int) + 2

    # X （入力データ）, label （クラスラベル）, t（教師信号） をつくる
    if nclass == 2:
        X = np.vstack((X0, X1))
        label = np.hstack((lab0, lab1))
        t = np.zeros(X.shape[0])
        t[label == 1] = 1.0
    else:
        X = np.vstack((X0, X1, X2))
        label = np.hstack((lab0, lab1, lab2))
        t = np.zeros((X.shape[0], nclass))
        for ik in range(nclass):
            t[label == ik, ik] = 1.0

    return X, label, t
    

if __name__ == '__main__':

    import matplotlib
    import matplotlib.pyplot as plt

    K = 3
    
    X, lab, t = getData(K)

    fig = plt.figure()
    plt.xlim(-0.2, 1.2)
    plt.ylim(-0.2, 1.2)
    ax = fig.add_subplot(1, 1, 1)
    ax.set_aspect(1)
    ax.scatter(X[lab == 0, 0], X[lab == 0, 1], color = 'red')
    ax.scatter(X[lab == 1, 0], X[lab == 1, 1], color = 'green')
    if K == 3:
        ax.scatter(X[lab == 2, 0], X[lab == 2, 1], color = 'blue')
    plt.show()

以下は先程の式を実装しようとしたプログラム

import numpy as np
import makeGaussianData
import matplotlib.pyplot as plt

K = 3
X, lab, t = makeGaussianData.getData(K) #学習データの作成

w = 0.02*np.random.rand(X.shape[0],K)-0.01 #パラメータの初期化
b = 0.02*np.random.rand(K)-0.01

def softmax(a):
    u = np.exp(a)
    return u/np.sum(u)

y = b + np.sum((w.T @ X)) #y[k]の計算
z=softmax(y)
print(z.shape,z)

なお、学習データは以下のように表示できます。また、Xのshapeは(600,2)です。
自分ではwの定義がおかしいと思っていますがどうでしょうか。

Answer 1

wの形状がおかしいように思えます。

w = 0.02*np.random.rand(X.shape[0],K)-0.01 #パラメータの初期化
ここでX.shape[0]を使っていますが、X.shape[1]ではないでしょうか？

Comments

[takuya324232506]

ありがとうございます。
しかし、上記の式ではwはK×D行列だと解釈しているのですがどうでしょうか？

[segavvy]

解こうとされている問題がわからないので掲載コードからの想像なのですが、Dは2（＝X.shape[1]）ではないのでしょうか？

[takuya324232506]

解こうとしている問題はmakeGaussianData.pyで作成したデータ（学習・テスト共に同じデータ）を使用して3クラスに分類するというものです。（学習には確率的勾配降下法）
今回のxは(ベクトル)x_n=(x_n,y_n)としてD×1行列で指定しています。
上記の式ではDは600（データ数）、Kは3（識別するクラス数）として考えているため、自分はwが600×3であると考えています。

[segavvy]

600個のデータがあり、そのそれぞれに対して、どのクラスに該当するのか？を推測する問題だと思います。つまり、1x2のデータが600個あり、y_kもそれぞれに対応した600セットが求められるのではないかと思います。

掲載コードから、入力層のニューロン数は２で出力層は3というニューラルネットワークを構築されているのかと思いますが、もしそうであれば重みwは2x3になるかと思います。

私の勘違いでしたら恐縮です。
出題元に確認いただくのが良いかもしれませんね。