説明変数が複数のSVR(サポートベクター回帰)の実装

Question

やりたいこと

• 説明変数が複数あるSVRの実装

起きている問題

ウェブページを参考にやってみましたが、
計算結果が出てきませんでした。

結果が表示されない原因があれば教えてください。
また、以下についても教えていただければ嬉しいです。

• パラメータの表示
• 予測値をグラフに表す

使用したデータセットはUCIのBoston house-prices(米国ボストン市郊外における地域別の住宅価格のデータセット)です。

import numpy as np
from sklearn.svm import SVR
from matplotlib import pyplot as plt
from sklearn.datasets import load_boston
boston = load_boston()
import pandas as pd
pd.DataFrame(boston.data, columns=boston.feature_names)

#簡易的にトレーニングデータとテストデータを分けた
X = boston.data[:354, :]
y = boston.target[:354]

svr_rbf = SVR(kernel='rbf', C=1e3, gamma=0.1)
svr_lin = SVR(kernel='linear', C=1e3)
svr_poly = SVR(kernel='poly', C=1e3, degree=3)
y_rbf = svr_rbf.fit(X, y).predict(X)
y_lin = svr_lin.fit(X, y).predict(X)
y_poly = svr_poly.fit(X, y).predict(X)

test_X = boston.data[354:, :]
test_y = boston.target[354:]

test_rbf = svr_rbf.predict(test_X)
test_lin = svr_lin.predict(test_X)
test_poly = svr_poly.predict(test_X)

from sklearn.metrics import mean_squared_error
from math import sqrt

# RMSEを計算
rbf_rmse = sqrt(mean_squared_error(test_y, test_rbf))
lin_rmse = sqrt(mean_squared_error(test_y, test_lin))
poly_rmse = sqrt(mean_squared_error(test_y, test_poly))

参考URL
scikit-learnで多変数の回帰モデル - SVRの比較検証やってみた

Answer 1

サポートベクターマシンを使う場合、与えられた生データのままだと処理が時間がかかるので、データの標準化や正規化をしてからモデリングするというのが王道です。
データによるので何とも言えませんが、sklearn.preprocessing.StandardScaler()を使って、計算しやすい値に変換してからfit()をしてあげるといいでしょう。

参考コード

from sklearn import preprocessing
sc=preprocessing.StandardScaler()
sc.fit(X)  # StandardScalerの学習
X=sc.transform(X)  # 学習結果をもとにXのStandardScalerによる変換

Comments

[su142ie]

回答ありがとうございます！
実は、ボストンのデータセットでSVRを行いたいのではなく、
別な正規化してあるデータの回帰を行いたかったのでその方法を探していました。
正規化したデータで行った結果、全ての計算を処理することができました。
R.Shigemoriさんのアドバイスも今後活かせそうです！

Answer 2

解決済みですが、簡単な対処法を。

svr_rbf = SVR(kernel='rbf', C=1e3, gamma=0.1, max_iter=10**5)
svr_lin = SVR(kernel='linear', C=1e3, max_iter=10**5)
svr_poly = SVR(kernel='poly', C=1e3, max_iter=10**5)

繰り返しの最大値を10^5に指定して、収束しない場合でも強制的に抜けさせます。（ちなみにlinearカーネルのときに挙動が怪しいようです）。

こんな警告を出してくれます。

ConvergenceWarning: Solver terminated early (max_iter=100000).  Consider pre-processing your data with StandardScaler or MinMaxScaler.

Comments

[su142ie]

ためになる情報をありがとうございます！
使ってみます！

Answer 3

追記
計算が終わらない
デバッグするなどして1行づつ実行出来るところまで試してみてください。
（私には何の計算をしてるのかどう改善すればいいかなどは分かりません。あしからず。）

以下Python3.6.6で試しました。
print(5)の行までの計算結果は出ましたが、

import numpy as np
from sklearn.svm import SVR
from matplotlib import pyplot as plt
from sklearn.datasets import load_boston
boston = load_boston()
import pandas as pd
pd.DataFrame(boston.data, columns=boston.feature_names)
print(1)

#簡易的にトレーニングデータとテストデータを分けた
X = boston.data[:354, :]
y = boston.target[:354]

print(X)
print(y)
print(2)

svr_rbf = SVR(kernel='rbf', C=1e3, gamma=0.1)
svr_lin = SVR(kernel='linear', C=1e3)
svr_poly = SVR(kernel='poly', C=1e3, degree=3)

print(svr_rbf)
print(svr_lin)
print(svr_poly)
print(3)

y_rbf = svr_rbf.fit(X, y).predict(X)
print(y_rbf)
print(4)
y_lin = svr_lin.fit(X, y).predict(X)
print(y_rbf)
print(5)

これ以降は処理中のまま結果が出ない

y_poly = svr_poly.fit(X, y).predict(X)
print(y_rbf)
print(6)

以下初回回答
参考URLコピペして、最後のprintをprint()に変えるだけで出力されました。

Python3.7.0

Comments

[su142ie]

回答ありがとうございます！
今回、ボストンのデータセットを使ってSVRを実装したいので
もしよろしければ問題のあるコードのほうも見ていただければと思います。

[opyon]

質問コードを走らせると処理中のまま戻ってこないでCPUファンがフル回転してPCにダメージが出そうなので申し訳ありませんがこれ以上の回答や調査は出来ません。

[su142ie]

正規化した手持ちの別データで行ったら計算の処理がすべてできました！
とても参考になりました。ありがとうございます！