複数の学習器を混ぜてアンサンブル学習をする方法

Question

kaggleとかで特徴量エンジニアリングを行うときにアンサンブル学習をするのを目にします。

このサイトの例だと、XGBoostとNeural Network、RGFをアンサンブル学習しているのですが、実際にアンサンブル学習はどうやって複数のモデルを混ぜるのでしょうか？

自分の考えですが、
・使った特徴量をそのまま、まとめて使う
・複数のモデルの保存した重みを使用する
などするのでしょうか？

疑問点として
・複数のモデルの結果の何を使用し、どのように使うか
がよくわかりません。

例えば、XGBoostとNeural Network、RGFなどのアンサンブル学習はどうやるのでしょう？具体例や、方法などをご教授いただけないでしょうか？
よろしくお願いします。

Answer 1

わかりやすいのはそれぞれの分類器を学習させ、votingという方法で結果をまとめる方法です。

要するに単純な多数決です。ただし、本当にただの多数決のhard votingと、各分類器でクラスごとの予測確率を出し、それに基づいて決めるsoft votingという手法があります。

もう少し凝ったやり方としては、stackingという方法があります。これは弱分類器の予測結果を新たな特徴量として、機械学習で結果を予測するという方法です。詳細についてはちょっと説明するのが大変なので、二番目の参考リンクをご参照ください。検索でもそれなりに解説がヒットします。

単純なvotingより結果が優れる傾向があるので、kaggle等ではよく使われていると思います。

参考：
sklearn.ensemble.VotingClassifier — scikit-learn 0.20.0 documentation
【機械学習】スタッキングのキホンを勉強したのでそのメモ - verilog書く人

Comments

[trafalbad]

わかりやすい回答ありがとうございました