SCOREに関与している情報を調べたい

Question

SCOREに関与している情報を調べたいです。
test2.json に

{"ID":"AW0495","NAME":"Tom","AGE":"30","SCORE":"A","ADRESS":"NY","INCOME":200,"STATUS":0,"CAR":1,"HOUSE":1}
{"ID":"SE2947","NAME":"John","AGE":"21","SCORE":"C","ADRESS":"NY","INCOME":500,"STATUS":0,"CAR":1,"HOUSE":0}
・
・
・
{"ID":"AW0495","NAME":"Tom","AGE":"61","SCORE":"B","ADRESS":"CF","INCOME":320,"STATUS":1,"CAR":0,"HOUSE":1}

と　およそ１万件のjsonデータがあります。

import pandas as pd
import numpy as np
from sklearn.cluster import KMeans
import json

with open('test2.json','r') as f:
    js = '[' + ','.join(f) + ']'
    print(js)

df = pd.read_json(js,orient='records')

dummy_df = pd.get_dummies(df[['SCORE','ADRESS']], drop_first = True)
df2 = pd.merge(df, dummy_df, left_index=True, right_index=True)

X = df2.drop(['ADRESS', 'ID','NAME', 'SCORE'],1)

とコードを書いて質量変数をダミー変数に変換しました。
Xの状態は、

のようになっています。今、スコアはA（良い）〜D（悪い）で４段階にランク分けしており、スコアが高くなる（＝Aに近くなる）要因が何かをAGE・ADRESS・INCOME・STATUS・CAR・HOUSEの中から探したいです。ダミー変数になっているところは、１はありで０はなし、という意味です。

やりたいことはhttp://www.randpy.tokyo/entry/python_glm のページと似ているのですが、この後どうコードを書けばいいのかわかりません。
どのようにコードを書けば、SCOREに関与している情報を調べられますか？

Answer 1

アプローチ方法は2つです。
1.機械学習を用いる
目的変数はスコア(A.B.C.D)というクラスなので、logistic回帰を用いた多クラスモデルを学習させて構築します。その後、各変数(AGE.ADDRESSなど)の係数を見比べて、評価します。なお、係数を横並びに比較するには各変数のスケールを同じにする必要があるので、AGEやINCOMEなどの数値データは0～1に収まるようにスケーリングしてから学習させます。

2.統計の検定を用いる
縦軸にスコア(A.B.C.D)、横軸に評価したいカテゴリー変数(ADDRESSなど)を用いたクロス集計表を作成します。その結果をインプットにしたカイ二乗検定を行い、カテゴリー変数とスコアが従属している可能性を評価します。
次にスコア別に数値データの集計を行い、平均と標準偏差を取得します。各スコア間の平均の差をt検定を用いて行い、スコアが異なると数値データに差が出ること評価します。

Answer 2

重回帰分析して、係数なりF値なりを見ます。

この辺を参考にすれば良いと思います。

誰でも出来る！！scikit-learn(sklearn)で重回帰分析しちゃう

ただし、係数を見るつもりなら入力を標準化しておいた方が無難。さもないと思いっきりスケールに引きずられます。

---

といってやろうとすると、普通の線形重回帰だと、けっこう気を配ることがたくさんあります。安易に使うと火傷するかもしれません。
（調べると幾らでも出てくる話なので、詳しくは書かないけど・・・。統計とか多変量解析の本を一回読んでから使うことをおすすめします）

なので、あまり事故らない方法を紹介しておくと、決定木のアンサンブル学習系の手法から計算する方法があります。これは（使うだけなら）簡単な割に、適当に使ってもそこそこ信頼できる結果が出るように思います。sklearnの実装だと百分率で出るのも手軽です。ただし相関の方向はわかりませんが・・・（まあ、必要なら別途相関係数を出して符号見とけば良いか）。

参考：
ランダムフォレスト系ツールで特徴量の重要度を測る

---

というかもしかして、とりあえず相関係数を出せばそれで十分とか？

Comments

[kaitotokai]

ありがとうございます。参考になります！最終的には、{"ID":"AW0495","NAME":"Tom","AGE":"30","SCORE":90.4,"ADRESS":"NY","INCOME":200,"STATUS":0,"CAR":1,"HOUSE":1}
{"ID":"SE2947","NAME":"John","AGE":"21","SCORE":45.6,"ADRESS":"NY","INCOME":500,"STATUS":0,"CAR":1,"HOUSE":0}
のようにスコアの値に実際の数値を入れ、スコアが高いユーザーデータをクラスタリングして、何グループかに分けそのユーザーの特徴を見たいです。例えばスコアが最も高いグループは年収も高かった、など。

[kaitotokai]

今は、その特徴がスコアに大きく関係するかを見たいのですが、次にグルーピングを行うにはどういう方法だとやりやすいとかありますか？

[hayataka2049]

スカラーとして得られるなら、もう上位10%とかそんなのでいい気がします

[kaitotokai]

上位１０％を算出し、そのユーザーのクラスタリングをするという事でしょうか？