アンサンブル学習で複数のモデルをブレンドすることについて

Question

アンサンブル学習で複数のモデルをブレンドすることについてご質問させていただきます。

あるかたのkaggleのスクリプトで

def blend_models_predict(X):
    return ((0.1 * elastic_model_full_data.predict(X)) + \
            (0.05 * lasso_model_full_data.predict(X)) + \
            (0.1 * ridge_model_full_data.predict(X)) + \
            (0.1 * svr_model_full_data.predict(X)) + \
            (0.1 * gbr_model_full_data.predict(X)) + \
            (0.15 * xgb_model_full_data.predict(X)) + \
            (0.1 * lgb_model_full_data.predict(X)) + \
            (0.3 * stack_gen_model.predict(np.array(X))))

このように使用するモデルごとに割合を決めてモデルをブレンドしています。
（”elastic_model_full_data”では、0.1の割合でブレンドしている。）

そこでこのような割合を決定するにあたって、簡単に割合を出力するようなライブラリはあるのでしょうか。
それとも自分で割合を変えていき、汎化性能があがるようなパラメータを見つけないといけないのでしょうか。

ご回答よろしくお願いします。

Answer 1

そのスクリプトそのものは、恐らく勘と試行錯誤で割合を決めています。

モデルごとに評価指標を見て、良さげなら増やしてそうでなければ減らす感じです。

あるいは、適切な重みを探索するライブラリもあるみたいなので、そういうものを使うか自分で似たようなものを書いてパラメータを調べたあと、ハードコーディングに直した・・・という可能性もなくはありません。

こんなものがあるらしいですが、私は使ったことがないので良し悪しについてはコメントできません。あしからず。

heamy package — heamy 0.0.7 documentation
Kaggleでよく使われるStacking/Blendingをheamy、Stacknetをpystacknetで高速に実装する - フリーランチ食べたい