ロジスティック回帰実装について

Question

前提・実現したいこと

多クラス分類をロジスティック回帰（確率的勾配降下法）で実装したいです。その際に、以下のようにエラーが出たので修正案を教えて欲しいです。

発生している問題・エラーメッセージ

多クラス分類で実装したいソフトマックス関数はかけましたが、確率的勾配降下法を用いて学習を進めたいのですが、データを1個取り出してソフトマックス関数に適応できません。

(3,) [0.33140883 0.3342123  0.33437887]
Traceback (most recent call last):
  File "step02_4.py", line 26, in <module>
    z = softmax(w.T[n]@X[n] + b)
IndexError: index 386 is out of bounds for axis 0 with size 3

(3,) [0.33140883 0.3342123 0.33437887]

　は、途中まで実行できた結果です。
なお、入力データ全体に対してはソフトマックス関数での計算ができました。

このエラーが理由はわかるのですが、修正方法がわかりません。実際の仕組みでは、データ一つ（例えばX[0]）を指定して以下の数式に適応した場合に(3,)の配列が出てくるようにしたいです。

該当のソースコード

makeGaussianData.py（学習データの作成）

import numpy as np


def getData(nclass, seed = None):

    assert nclass == 2 or nclass == 3

    if seed != None:
        np.random.seed(seed)

    # 2次元の spherical な正規分布3つからデータを生成
    X0   = 0.10 * np.random.randn(200, 2) + [ 0.3, 0.3 ]
    X1   = 0.10 * np.random.randn(200, 2) + [ 0.7, 0.6 ]
    X2   = 0.05 * np.random.randn(200, 2) + [ 0.3, 0.7 ]

    # それらのラベル用のarray
    lab0 = np.zeros(X0.shape[0], dtype = int)
    lab1 = np.zeros(X1.shape[0], dtype = int) + 1
    lab2 = np.zeros(X2.shape[0], dtype = int) + 2

    # X （入力データ）, label （クラスラベル）, t（教師信号） をつくる
    if nclass == 2:
        X = np.vstack((X0, X1))
        label = np.hstack((lab0, lab1))
        t = np.zeros(X.shape[0])
        t[label == 1] = 1.0
    else:
        X = np.vstack((X0, X1, X2))
        label = np.hstack((lab0, lab1, lab2))
        t = np.zeros((X.shape[0], nclass))
        for ik in range(nclass):
            t[label == ik, ik] = 1.0

    return X, label, t
    

if __name__ == '__main__':

    import matplotlib
    import matplotlib.pyplot as plt

    K = 3
    
    X, lab, t = getData(K)

    fig = plt.figure()
    plt.xlim(-0.2, 1.2)
    plt.ylim(-0.2, 1.2)
    ax = fig.add_subplot(1, 1, 1)
    ax.set_aspect(1)
    ax.scatter(X[lab == 0, 0], X[lab == 0, 1], color = 'red')
    ax.scatter(X[lab == 1, 0], X[lab == 1, 1], color = 'green')
    if K == 3:
        ax.scatter(X[lab == 2, 0], X[lab == 2, 1], color = 'blue')
    plt.show()

ロジスティック回帰実装プログラム

import numpy as np
import makeGaussianData
import matplotlib.pyplot as plt

K = 3
X, lab, t = makeGaussianData.getData(K)

w = 0.02*np.random.rand(K,X.shape[0])-0.01 #1.パラメータの初期化
z = np.empty((X.shape[0],K))
b=0.02*np.random.rand(K)-0.01
h = np.empty(X.shape[0],)
eta=0.01
cnt = 0

def softmax(a):
    exp_a = np.exp(a)
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y
y = b + np.sum((w @ X)) #y[k]の計算
z=softmax(y)
print(z.shape,z)

for i in range(10000): #2.適当な回数の繰り返し（学習データは600個）
    n = np.random.randint(0,600) #i.600個のデータからランダムで1つ選択
    for k in range(K):
        y[k] = w[k]@X[n] + b[k] #エラー発生箇所
    z= softmax(y)
    print(z)
''' #以下は2クラスの時の確率的勾配降下法の適応部分
    h[n]= (-t[n]*np.log(z[n]))-((1-t[n])*np.log(1-z[n])) #ii.モデルの出力を求める
    w = w-(eta*((z[n]-t[n])*X))
    b = b-(eta*(z[n]-t[n])) #iii.パラメータの更新
    if i % 1000 == 0: #2.iv. 1000の倍数になったときの処理
        z=s(w @ X.T + b)
        h= (-1*t)*np.log(z)-(1-t)*np.log(1-z)
        cnt = np.sum((z > 0.5) == t)
        H = np.mean(h)
        print("#{0}, H:{1} , {2}/{3}={4}".format(i,H,cnt,X.shape[0],cnt/X.shape[0]))
        cnt=0
'''
fig = plt.figure()
plt.xlim(-0.2, 1.2)
plt.ylim(-0.2, 1.2)
ax = fig.add_subplot(1, 1, 1)
ax.set_aspect(1)
ax.scatter(X[lab == 0, 0], X[lab == 0, 1], color = 'red')
ax.scatter(X[lab == 1, 0], X[lab == 1, 1], color = 'green')
if K == 3:
    ax.scatter(X[lab == 2, 0], X[lab == 2, 1], color = 'blue')

fig.show()
plt.show()

Comments

[segavvy]

エラーメッセージを記載してください。今記載されているのは発生箇所の情報だけで、エラー内容がわかりません。（試してはいませんが、おそらく形状が一致しないエラーなのではないかと思います。）

[padms0206]

修正しました。わかりにくい説明で申し訳ありませんでした

[segavvy]

入力層は2次元で、出力層は3次元（=K）ですよね。その場合、wの形状がおかしくないでしょうか？

w = 0.02*np.random.rand(K,X.shape[0])-0.01 #1.パラメータの初期化
と初期化していますが、これだとwの形状が(3,600)になってしまいます。
w = 0.02*np.random.rand(K,X.shape[1])-0.01 #1.パラメータの初期化
の間違いだったりしないでしょうか？