決定領域のコード

Question

質問は決定領域のコードでこの下のコードを実行すると、
データーはプロっとされるのですが、
決定境界を表す直線が出てきません。（グラフを二つに分ける）
どこを変えるといいのでしょうか。
間違えている箇所がわかりません。
教えてください。
plot_decision_regionsこの関数が決定領域の図です。

特徴量は２つです。
ｚのあたいは０か１です。

よろしくお願いします。

import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
%matplotlib inline
from matplotlib.colors import ListedColormap

iris=datasets.load_iris()
x=iris.data[:,[2,3]]
y=iris.target
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3,random_state=1,stratify=y)

plot_decision_regions(x=x_train_01_subset,
                     y=y_train_01_subset,
                     classifier=lrgd)

class LogisticRegressionGD:
    def __init__(self,eta=0.05,n_iter=100,random_state=1):
        self.eta=eta
        self.n_iter=n_iter
        self.random_state=random_state
    
    def fit(self,x,y):
        rgen=np.random.RandomState(self.random_state) #インスタンス
        self.w_=rgen.normal(loc=0.0,scale=0.01,size=1+x.shape[1]) #特徴量＋バイアス
        self.cost_=[]
        
        for i in range(self.n_iter):
            net_input=self.net_input(x)
            out_put=self.activation(net_input)
            errors=(y-out_put)
            self.w_[1:]+=self.eta*x.T.dot(errors)
            self.w_[0]+=self.eta*errors.sum()
            
            cost=-y.dot(np.log(out_put))-((1-y).dot(np.log(1-out_put)))
            self.cost_.append(cost)            
            
            
    def net_input(self,x):
        return np.dot(x,self.w_[1:])+self.w_[0]
    
    def activation(self,z):
        return 1./(1.+np.exp(np.clip(z,-250,250)))
    
    def predict(self,x):
        return np.where(self.activation(self.net_input(x))>=0.5,1,0)
    

def plot_decision_regions(x,y,classifier,test_idx=None,resolution=0.02):
    

    markers=('s','x','o','^','v')
    colors=('blue','red','lightgreen','gray','cyan')
    cmap=ListedColormap(colors[:len(np.unique(y))])
     

    x1_min,x1_max=x[:,0].min()-1,x[:,0].max()+1
    x2_min,x2_max=x[:,1].min()-1,x[:,1].max()+1
    
    xx1,xx2=np.meshgrid(np.arange(x1_min,x1_max,resolution),
                       np.arange(x2_min,x2_max,resolution))
    
    z=classifier.predict(np.array([xx1.ravel(),xx2.ravel()]).T)

    z=z.reshape(xx1.shape)
    plt.contourf(xx1,xx2,z,alpha=0.8,cmap=cmap)
    plt.xlim(xx1.min(),xx1.max())
    plt.ylim(xx2.min(),xx2.max())

    for idx,c1 in enumerate(np.unique(y)):
        plt.scatter(x=x[y==c1,0],y=x[y==c1,1],
                   alpha=0.8,
                   c=colors[idx],
                   marker=markers[idx],
                   label=c1,
                   edgecolor='black')
  

x_train_01_subset=x_train[(y_train==0)|(y_train==1)]
y_train_01_subset=y_train[(y_train==0)|(y_train==1)]
lrgd=LogisticRegressionGD(eta=0.05,n_iter=1000,random_state=1)
lrgd.fit(x_train_01_subset,y_train_01_subset)
plot_decision_regions(x=x_train_01_subset,
                     y=y_train_01_subset,
                     classifier=lrgd)
コード

Answer 1

コピペミスだと思いますが、シグモイド関数の分母の指数が e^{-x} でなく、e^x になっていて、間違っています。

- 1.0 / (1.0 + np.exp(np.clip(z, -250, 250)))
+ 1.0 / (1.0 + np.exp(-np.clip(z, -250, 250)))

書籍のコードは GitHub に上がっているようなので、動かない場合はこちらのものと比較するとよいかと思います。

python-machine-learning-book-2nd-edition/ch03.ipynb at master · rasbt/python-machine-learning-book-2nd-edition

Comments

[assa]

回答ありがとうございました。
tiitoiさんのコード実行させてもらいましたが自分もできました
ではほかのこーどのみすということですね

[assa]

iris=datasets.load_iris()
x=iris.data[:,[2,3]]
y=iris.target
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3,random_state=1,stratify=y)
x_train_01_subset=x_train[(y_train==0)|(y_train==1)]
y_train_01_subset=y_train[(y_train==0)|(y_train==1)]
lrgd=LogisticRegressionGD(eta=0.05,n_iter=1000,random_state=1)
lrgd.fit(x_train_01_subset,y_train_01_subset)
plot_decision_regions(x=x_train_01_subset,
y=y_train_01_subset,
classifier=lrgd)
データはこれです

[tiitoi]

LogisticRegressionGD は自作したものでしょうか？
その部分を sklearn の LogisticRegression に置き換えたらコメントのコードでも描画できました

[assa]

python機械学習プログラミングという本の
コードを書いたんです。
ありがとうございます。
ロジスティックがどこか間違っているというこがわかりました

[tiitoi]

ーーーー
訂正

[assa]

画像はりました

[tiitoi]

コピペで動作するコードを貼れますか？ (import などすべて含む)

[tiitoi]

再現したので、大丈夫です。ちょっと見てみます

[assa]

はりました
おそくてすみません

[tiitoi]

原因がわかりました。self.activation() 内の式が間違っています。

[assa]

本当にありがとうございました

[assa]

実行したらできました。
ありがとうございました