[python] adaboostにおける変数重要度をmatplotlibで描画するソースコード

Question

前提・実現したいこと

pythonで、adaboostを使って分類問題を解いています。
データセットは、有名な「Breast Cancer Wisconsin」という乳がんデータです。

発生している問題・エラーメッセージ

以下のソースコードの通りで、予測モデルまではコードで作れたのですが、
各特徴量の変数重要度（feature importance）を、
matplotlibを使ってグラフで出力したいのですが、コードがうまくいきません。

該当のソースコード

# 必要なライブラリのインポート
import numpy as np
import pandas as pd
from sklearn.datasets import load_digits
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import classification_report
from sklearn.model_selection import GridSearchCV, train_test_split

# データの読み込み
df = pd.read_csv('data_2.csv' )

# 説明変数をdata_Xに、目的変数をdata_yに代入
data_X = df.drop('diagnosis', axis=1)
data_y = df['diagnosis']

def main():
    ada = AdaBoostClassifier(n_estimators=100) #n_estimators=弱い識別機を使った分類を何回繰り返すかの指定
    params = {"base_estimator" : [DecisionTreeClassifier(max_depth=x)  #パラメータチューニング
                                  for x in range(5, 10)],
              "learning_rate" : [0.5, 1.0, 1.5]
             }
    cv = GridSearchCV(ada, params, cv=5, n_jobs=-1, verbose=2) 
    
    X_train, X_test, y_train, y_test = train_test_split(
        data_X, data_y, stratify=data_y, test_size=0.2, random_state=1)
    cv.fit(X_train, y_train)
    print(cv.best_params_)
    pred = cv.predict(X_test)
    print(classification_report(y_test, pred))

if __name__ == "__main__":
    main()

試したこと

ちなみに、xgboostでは以下のコードでグラフが描画できたのですが、
これと同様の変数重要度のグラフはadaboostで描画可能でしょうか？

_, ax = plt.subplots(figsize=(8, 8))
xgb.plot_importance(clf,
ax=ax,
importance_type='gain',
show_values=False)
plt.show()

Answer 1

特徴重要度はcv.best_estimator_.feature_importances_で取れます。これは本当にただの配列です。

とりあえずpandasのSeriesにしてシンプルにプロットしてみます。交差検証によるチューニング、ホールドアウト検証は面倒なので省きました（あくまでも例示のために単純化しているだけで、実際のコードではお望みのようにやってください）。

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import AdaBoostClassifier

bc = load_breast_cancer()
ada = AdaBoostClassifier()
ada.fit(bc.data, bc.target)
s = pd.Series(ada.feature_importances_, index=bc.feature_names)
s.plot.barh(color="b")
plt.subplots_adjust(left=0.3)  # こうしないとラベルがはみ出る
plt.savefig("result.png")

細かい見た目の調整までには責任を負いません。気になったらリファレンスを読みながら調整してみてください。

pandas.Series.plot — pandas 0.24.2 documentation
matplotlib.pyplot.bar — Matplotlib 3.1.0 documentation

Comments

[color_8]

hayataka2049さん
早速有難うございました！

描画できました、チューニングの方は色々試してみます。

[hayataka2049]

伝わってないと困るので念の為。返信不要です。
質問文のコードのあとに
s = pd.Series(cv.best_estimator_.feature_importances_, index=bc.feature_names)
とでもして、以下のプロット部分は基本的に同じ記述でいけます。

[color_8]

すみません、、理解できなかったです。

質問分のコードの後に

↑というのは、
if __name__ == "__main__":
main()
のあとに、
s = pd.Series(cv.best_estimator_.feature_importances_, index=bc.feature_names)

を記述すれば。ということでしょうか？
これだと"cv"を定義していないのですが、これはどうすればよいのでしょうか。

すみません、理解度が低く。。

[hayataka2049]

main関数の
print(classification_report(y_test, pred))
の次の行の下に入れてください。

[color_8]

有難うございました！
理解出来ました。