多項式回帰の実装について（「Pythonで動かして学ぶ！あたらしい数学の教科書 機械学習・深層学習に必要な基礎知識」7章）

Question

前提・実現したいこと

「Pythonで動かして学ぶ！あたらしい数学の教科書 機械学習・深層学習に必要な基礎知識」
我妻 幸長 著
https://www.shoeisha.co.jp/book/detail/9784798161174

７章にある多項式回帰のソースコードで、sin波にノイズを与えた数値に対する予測値を算出したいと考えています。

Pythonにて多項式回帰を実装中に以下のRuntimeWarningが発生しました。
どの様に修正すれば多項式回帰が実装できるのか、わかる方がいらっしゃればご返答をお願いいたします。

発生している問題

---1次多項式---
[0.00096211 0.32482469]
---3次多項式---
testplot1.py:52: RuntimeWarning: overflow encountered in double_scalars
  grad_ps[i] += ( polynomial(X[j],params) - T[j] )*(X[j]**i) #siki7
testplot1.py:42: RuntimeWarning: invalid value encountered in double_scalars
  poly += params[i]*(x**i) #siki1
[nan nan nan nan]
---6次多項式---
testplot1.py:52: RuntimeWarning: overflow encountered in double_scalars
  grad_ps[i] += ( polynomial(X[j],params) - T[j] )*(X[j]**i) #siki7
testplot1.py:52: RuntimeWarning: invalid value encountered in double_scalars
  grad_ps[i] += ( polynomial(X[j],params) - T[j] )*(X[j]**i) #siki7
[nan nan nan nan nan nan nan]

該当のソースコード

import random
import numpy as np
import math
import matplotlib.pylab as plt

##------------多項式-------------##
def polynomial(x,params):
    poly=0
    for i in range(len(params)):
        poly += params[i]*(x**i) #siki1
    
    return poly
##-------------------------------##

##---------各パラメータの勾配----------##
def grad_params(X,T,params):
    grad_ps=np.zeros(len(params))
    for i in range(len(params)):
        for j in range(len(X)):
            grad_ps[i] += ( polynomial(X[j],params) - T[j] )*(X[j]**i) #siki7
            #print(grad_ps[i])
    
    return grad_ps
##------------------------------------##

##--------------学習--------------##
def fit(X,T,degree,epoch):
    #degree; 多項式の次数 epoch: 繰り返し回数
    
    #--パラメータの初期設定--
    params = np.random.randn(degree+1)
    for i in range(len(params)):
        params[i] *= 2**i #高次の項ほどパラメータを大きくする
    
    #--パラメータの更新--
    eta = 0.01 #学習係数
    for i in range(epoch):
        params -= eta * grad_params(X,T,params) #siki4
    print(params)
    return params
##--------------------------------##

##-------------結果の表示-------------##
if __name__ == '__main__':
    X = np.linspace(-np.pi,np.pi)
    T = np.sin(X)
    T += 0.4*np.random.randn(len(X))
    degrees = [1,3,6]
    for degree in degrees:
        try:
            print("---" + str(degree) + "次多項式---")
            params_ = fit(X,T,degree,1000)
            Y=polynomial(X,params_)
            plt.scatter(X,T)
            plt.plot(X,Y,linestyle="dashed")
            plt.show()
        except Exception as e:
            print("ex " + str(e))
##-----------------------------------##

試したこと

fit関数の第三引数epochを1000から10に引き下げると以下のように実行されました。

params_ = fit(X,T,degree,1000)

↓変更

params_ = fit(X,T,degree,10)

---1次多項式---
[-0.00464317  0.14836511]
---3次多項式---
[ 5.78847862e+09 -1.02672982e+18  3.49269078e+10 -7.49944791e+18]
---6次多項式---
[-7.96357988e+45 -8.98231804e+36 -6.34400671e+46 -7.15525784e+37
 -5.31673196e+47 -5.99646957e+38 -4.60692789e+48]

とても大きな値がparams_に入力されているように伺えます。

補足情報（FW/ツールのバージョンなど）

numpy 1.20.2
matplotlib 3.4.1
Python 3.8.5

Comments

[meg_]

> Pythonにて多項式回帰を実装中に以下のエラーメッセージが発生しました。
エラーメッセージが見当たらないようですがどんなエラーでしょうか？

[yutatayu]

---1次多項式---
[0.00096211 0.32482469]
---3次多項式---
testplot1.py:52: RuntimeWarning: overflow encountered in double_scalars
grad_ps[i] += ( polynomial(X[j],params) - T[j] )*(X[j]**i) #siki7
testplot1.py:42: RuntimeWarning: invalid value encountered in double_scalars
poly += params[i]*(x**i) #siki1
[nan nan nan nan]
---6次多項式---
testplot1.py:52: RuntimeWarning: overflow encountered in double_scalars
grad_ps[i] += ( polynomial(X[j],params) - T[j] )*(X[j]**i) #siki7
testplot1.py:52: RuntimeWarning: invalid value encountered in double_scalars
grad_ps[i] += ( polynomial(X[j],params) - T[j] )*(X[j]**i) #siki7
[nan nan nan nan nan nan nan]
------------------------------------------------------------------------

---3次多項式---
52: RuntimeWarning: overflow encountered in double_scalars
42: RuntimeWarning: invalid value encountered in double_scalars
---6次多項式---
52: RuntimeWarning: overflow encountered in double_scalars
52: RuntimeWarning: invalid value encountered in double_scalars

訂正いたします。
上記、3次多項式、6次多項式の設定にて実行した場合
52行目および42行目にて「overflow」、「 invalid value」のRuntimeWarningが発生します。
params_にとても大きな値が入ってしまい、[nan...]が表示されてしまいます。

Answer 1

質問のコードは書籍のサイトからダウンロードできるサンプルコードと同じものでしょうか？
書籍を持っていないのでそちらを見ての回答となります。

下記が抜けているようです。

X /= np.pi #収束しやすくするため、Xの範囲を-1から1の間に収める 

Comments

[yutatayu]

ありがとうございました。
piでXを割る操作が抜けていました。
ご返答ありがとうございました。