sklearnにおけるガウス過程のパラメータについて

Question

実現したいこと

sklearnのガウス過程に関するモジュールを使用してできたモデルから得られるハイパーパラメータの理解

• sklearn によるガウス過程の機械学習モデルからハイパーパラメータを取得し、自作の関数により機械学習モデルを再現したい。

前提

pythonでガウス過程による回帰をおこなっています。
下のサイトを真似したモデルを作成しました。
rbfカーネル、ガウス分布に従うノイズを仮定しています。
https://qiita.com/meltyyyyy/items/5a058ecc81e010876a39

このθ1, θ2, θ3をsklearnのモデルから取得したいのです。
問題を再現するための全コードはhttps://github.com/takuto1105/tmp/blob/main/practice6.py
にあります。

試したこと

次のようなデータに対して回帰を行います。また下の図を図1とします。

def objective(x):
    return 2 * np.sin(x) + 3 * np.cos(2 * x) + 5 * np.sin(2 / 3 * x)

sklearn を使用しないとき

上のサイトにあるカーネル関数をもちいて回帰した結果、ハイパーパラメータは
θ1 = 3.9479622, θ2＝21.52594284, θ3 = 2.17656223
となり、結果は下のグラフのようになります。これを図2とします。objectiveは全データです。mean, standard deviationはそれぞれテストデータにおける期待値と標準偏差を2倍したものです。この時のカーネル関数を下に示します。

def rbf(x, x_prime, theta_1, theta_2):
    """RBF Kernel

    Args:
        x (float): data
        x_prime (float): data
        theta_1 (float): hyper parameter
        theta_2 (float): hyper parameter
    """
    return theta_1 * np.exp(-1 * (x - x_prime)**2 / theta_2)

def kernel(x, x_prime, noise, theta_1, theta_2, theta_3):
    # delta function
    if noise:
        delta = theta_3
    else:
        delta = 0
    return rbf(x, x_prime, theta_1=theta_1, theta_2=theta_2) + delta

sklearnを使用したとき

sklearnでは次のようにカーネル関数を定義しました。そして上と同様に、データにたいしてフィッティングをおこないました。
その結果をいかに示します。このグラフを図3とします。先ほどの図2と同様の結果ではないですが、作成されたモデルから適切に式(1)のθ1, θ2, θ3に該当するハイパーパラメータを取り出し、上の先ほどの(sklearn をしようしないときの)関数に代入すれば、この図3のグラフが再現できることを期待します。

import sklearn.gaussian_process as gp

kk = gp.kernels.ConstantKernel() * gp.kernels.RBF() + gp.kernels.WhiteKernel()
model = gp.GaussianProcessRegressor(kernel=kk)

sklearn を用いて作成したモデルからハイパーパラメータを取得し、モデルを再現する。

sklearnを使用して作成したモデルのパラメータは以下のようにして見ることができます。

print(model.kernel_.get_params())

{'k1': 11.1**2 * RBF(length_scale=1.54), 'k2': WhiteKernel(noise_level=1e-05), 'k1__k1': 11.1**2, 'k1__k2': RBF(length_scale=1.54), 'k1__k1__constant_value': 123.596671302672, 'k1__k1__constant_value_bounds': (1e-05, 100000.0), 'k1__k2__length_scale': 1.5360820440644833, 'k1__k2__length_scale_bounds': (1e-05, 100000.0), 'k2__noise_level': 9.999999999999997e-06, 'k2__noise_level_bounds': (1e-05, 100000.0)}

このときhttps://scikit-learn.org/stable/modules/generated/sklearn.gaussian_process.kernels.ConstantKernel.html
より式(1)のθ1とk1__k1__constant_valueは等しく、また
https://scikit-learn.org/stable/modules/generated/sklearn.gaussian_process.kernels.RBF.html
よりk1__k2__length_scaleが上のサイトの式

のlに該当すると考えられます。すると式(1)のθ2とlには下のような関係が成り立つと考えられます。

また、k2__noise_levelはθ3とどのような関係にあるのかわからず、とりあえず、θ3に等しいとしました。
つまり、コードでは下のようになります。このときθ1 = 123.596671302672, θ2＝4.7190960921946425, θ3 = 9.999999999999997e-06となり先ほどのsklearn を使用しない場合のθ1 = 3.9479622, θ2＝21.52594284, θ3 = 2.17656223と大きく異なることがわかります。当然結果も下のグラフのように全くsklearnにより作成したモデルの結果、図3を再現することは出来ませんでした。どのようにしたら再現できるようになるのでしょうか？

theta1 = model.kernel_.get_params()['k1__k1__constant_value']
theta2 = 2 * model.kernel_.get_params()['k1__k2__length_scale']**2
theta3 = model.kernel_.get_params()['k2__noise_level']

Comments

[退会済みユーザー]

print(dir(model.kernel_))のなかにk1だとかk2のようなパラメータっぽい変数はありそうですか？
※https://stackoverflow.com/questions/50287891/kernel-parameters-of-gaussian-process-regression-how-to-get-them-in-scikit-lear
を見て糸口はないかと適当に書いています。恐らくget_paramsと大差のないかもですが…。

[himizu]

コメントありがとうございます。k1やk2のような変数はあるのですが、おっしゃる通りget_paramsとまったく同じものですね。

[退会済みユーザー]

答えにはいきついていませんが、
https://stackoverflow.com/questions/49688564/sklearn-gaussian-process-regression-not-changed-during-learning
が参考になりそうな気がします。sklearnなので何とかすればちゃんとパラメータを吸い出せそうな気はします。（ただちゃんと手元で走らせていないのでチンプンカンプンです）

[jbpb0]

「図3」で「standard deviation」の幅が全然見えないのは変だなぁと思って、コードを実行して「std」の数値を確認したらすごく小さいので、「model.fit(...」のすぐ前(上)に

params = {'kernel__k2__noise_level_bounds': (0.5, 100000.0)}
model.set_params(**params)

を追加して、「std」が小さくならないように下限を制限したら、「図3」で「standard deviation」が見えるようになり、最後のグラフの見た目も似てきました

ただし、似てきたけど「図3」と同じではないし、数値も一致しませんが

[himizu]

コメントありがとうございます。
アドバイスを参考に他のパラメータをいじってみましたが、完全に同じにするのは難しそうですね。