Lasso回帰で使用される特徴量の確認方法

Question

ボストン住宅価格予測データで、lasso回帰をしています。
Lasso回帰で使用される特徴量の確認方法が知りたいです。
下記コードの前に、ボストン住宅価格予測データの読み込みやデータ分割
（trainとtestを、8:2）しています。
下記コードにより、以下のアウトプットが出ます。
alpha=0.001
Train set score: 0.94
Test set score: 0.75
Number of features used:76（←この76が、どの特徴量か知りたい）

#ラッソ回帰とグラフ化

plt.figure(figsize=(10, 5))
for alpha in [0.00001,0.0001,0.001,0.01,0.1, 1, 10]:
    lasso = Lasso(alpha=alpha).fit(X_train, y_train)
    print("\n alpha={}".format(str(alpha)))
    print("Train set score: {:.2f}".format(lasso.score(X_train, y_train)))
    print("Test set score: {:.2f}".format(lasso.score(X_test, y_test)))
    print("Number of features used:{}".format(np.sum(lasso.coef_ != 0)))
    plt.plot(lasso.coef_, label="alpha:{}".format(str(alpha)))

plt.legend()
plt.xlabel("Coef index")
plt.ylabel("Coef magnitude")

Answer 1

np.where(lasso.coef_!=0)とかでインデックスを取って、あとは特徴量の名前にしたければ適当に突き合わせる処理を書けば良いのではないでしょうか。

インデックスに応じて取る処理は色々ありますね。

feature_names = # 特徴量の名前のリスト
used_features = [feature_names[i] for i in np.where(lasso.coef_!=0)]

みたいなのでもいいですし、numpy-likeなインデキシングをサポートしているデータ構造で表せばfeature_names[np.where(lasso.coef_!=0)]やもっと簡単にfeature_names[lasso.coef_!=0]などが可能です。

Comments

[kouji_39]

’’’
import mglearn
X, y = mglearn.datasets.load_extended_boston()
’’’
追加質問で、ご足労かけます。
上記のように、データを引っ張ってきました。
説明変数のcolumn名は、自分でつけなければいけないのでしょうか。
print(lasso.coef_)で、lasso回帰の係数は見れるので、元データ内容
が把握していれば、０かそれ以外かがわかるわけですね。

[hayataka2049]

mglearnが変数名の機能を提供してくれているかどうか次第ですね。自分で調べてみていただくしかないのですが、望み薄ではないでしょうか。なければインデックスで解釈するしかありません。

[kouji_39]

ボストン住宅価格予測データに関しては、X, y = mglearn.datasets.load_extended_boston()で引っ張った拡張型タイプは特徴量が１０４個ありますが、「104の特徴量とは，もとの13の特徴量に，13の特徴量から2つの特徴量を選ぶ重複ありの組合せ91を足したものである」というのを見つけました。通常の
ボストン住宅価格予測データ（#from sklearn.datasets import load_boston#boston = load_boston()）では、boston.feature_namesで特徴量ラベルが取得できます。
結果、重複ありの組合せ91個については、特徴量ラベルにそれぞれ意味を持たないので、
解釈する必要がない（解釈しずらい感じ）ということになります。hayataka2049様、
助言ありがとうございます。

Answer 2

np.sum(lasso.coef_
Number of features used:76（←この76が、どの特徴量か知りたい）

76という数字は、76番目という意味ではなく、76個の特徴量が使用された(np.sum)
という意味ですが理解されてますか？

Comments

[kouji_39]

もちろんです。（＾＾）

[technocore]

ご存知でしたか。
ちゃんと本を読んでいればこのような質問は出ないはずなので
アドバイスさせていただきました。
解決してよかったですね。（＾＾）

[kouji_39]

私が調べるかぎり、本やネットでは、Number of features used:76（76は一例）について
の説明とかはでていません。実装していて、内容理解や疑問点解消のために質問を行っております。