ロジスティック回帰（多クラス分類）について

前提・実現したいこと

下記のプログラムを改造して多クラスのロジスティック回帰識別器を作成したいです。
また、この識別器では「確率的勾配法」を用いて2クラスの識別をしています。

データ作成用プログラム

make

python
1import numpy as np
2
3def getData(nclass, seed = None):
4
5    assert nclass == 2 or nclass == 3
6
7    if seed != None:
8        np.random.seed(seed)
9
10    # 2次元の spherical な正規分布3つからデータを生成
11    X0   = 0.10 * np.random.randn(200, 2) + [ 0.3, 0.3 ]
12    X1   = 0.10 * np.random.randn(200, 2) + [ 0.7, 0.6 ]
13    X2   = 0.05 * np.random.randn(200, 2) + [ 0.3, 0.7 ]
14
15    # それらのラベル用のarray
16    lab0 = np.zeros(X0.shape[0], dtype = int)
17    lab1 = np.zeros(X1.shape[0], dtype = int) + 1
18    lab2 = np.zeros(X2.shape[0], dtype = int) + 2
19
20    # X （入力データ）, label （クラスラベル）, t（教師信号） をつくる
21    if nclass == 2:
22        X = np.vstack((X0, X1))
23        label = np.hstack((lab0, lab1))
24        t = np.zeros(X.shape[0])
25        t[label == 1] = 1.0
26    else:
27        X = np.vstack((X0, X1, X2))
28        label = np.hstack((lab0, lab1, lab2))
29        t = np.zeros((X.shape[0], nclass))
30        for ik in range(nclass):
31            t[label == ik, ik] = 1.0
32
33    return X, label, t
34    
35
36if __name__ == '__main__':
37
38    import matplotlib
39    import matplotlib.pyplot as plt
40
41    K = 3
42    
43    X, lab, t = getData(K)
44
45    fig = plt.figure()
46    plt.xlim(-0.2, 1.2)
47    plt.ylim(-0.2, 1.2)
48    ax = fig.add_subplot(1, 1, 1)
49    ax.set_aspect(1)
50    ax.scatter(X[lab == 0, 0], X[lab == 0, 1], color = 'red')
51    ax.scatter(X[lab == 1, 0], X[lab == 1, 1], color = 'green')
52    if K == 3:
53        ax.scatter(X[lab == 2, 0], X[lab == 2, 1], color = 'blue')
54    plt.show()

2クラスのロジスティック回帰プログラム

python
1import numpy as np
2import makeGaussianData
3import matplotlib.pyplot as plt
4
5K = 2
6w = 0.02*np.random.rand(K)-0.01 #1.パラメータの初期化
7b=0.02*np.random.rand()-0.01
8
9X, lab, t = makeGaussianData.getData(K)
10z = np.empty(X.shape[0],)
11h = np.empty(X.shape[0],)
12eta=0.01
13cnt = 0
14
15def s(x):
16    return 1/(1+np.exp(-x))
17
18for i in range(10000): #2.適当な回数の繰り返し（学習データは400個）
19     n = np.random.randint(0,400) #i.400個のデータからランダムで1つ選択
20     z[n]= s(w @ X[n] + b)
21     h[n]= (-t[n]*np.log(z[n]))-((1-t[n])*np.log(1-z[n])) #ii.モデルの出力を求める
22     w = w-(eta*(X[n]*(z[n]-t[n])))
23     b = b-(eta*(z[n]-t[n])) #iii.パラメータの更新
24     if i % 1000 == 0: #2.iv. 1000の倍数になったときの処理
25        z=s(w @ X.T + b)
26        h= (-1*t)*np.log(z)-(1-t)*np.log(1-z)
27        cnt = np.sum((z > 0.5) == t)
28        H = np.mean(h)
29        print("#{0}, H:{1} , {2}/{3}={4}".format(i,H,cnt,X.shape[0],cnt/X.shape[0]))
30        cnt=0
31
32fig = plt.figure()
33plt.xlim(-0.2, 1.2)
34plt.ylim(-0.2, 1.2)
35ax = fig.add_subplot(1, 1, 1)
36ax.set_aspect(1)
37ax.scatter(X[lab == 0, 0], X[lab == 0, 1], color = 'red')
38ax.scatter(X[lab == 1, 0], X[lab == 1, 1], color = 'green')
39if K == 3:
40    ax.scatter(X[lab == 2, 0], X[lab == 2, 1], color = 'blue')
41
42fig.show()
43plt.show()