dataframeのある列名に対して、相関係数が低い列を削除したい

Question

下図のようなデータフレームdfがあるとき、T列に対する各列の相関係数が一定値を下回る場合は、そのカラムを消去して新たにdfaというデータフレームを作りたいのですが、関数等うまく考え付きません。

||A|B|C|D|E|T
|:--|:--:|--:|
|1|45|-0.598|120.013|30.874|0.045|23
|2|23|0.984|-10.432|50.856|0.015|53
|3|3|23.44|-40.432|40.856|320.015|67

実際のdfは行が数千行、列も何千列もあり、すべて数値化されているおり、df.corr()でマトリクスは表示されるのですが、当然のように省略表示です。to_excelで落として該当列名を抽出して、個別にdropさせようとしたのですが、多すぎて対応に苦慮しています。どのように考えてコードを作ればよいのかご教示いただけませんでしょうか。

Answer 1

データベースの基本は削除することではなく抽出することかと思われます。

import pandas as pd
import numpy as np

df = pd.DataFrame()
for k in list('ABCDET'):
    df[k] = np.random.random(20)

df.loc[:, df.corr()['T']>0.1]

Comments

[jun.k]

ありがとうございます。できました!!。

Answer 2

Pandasでデータフレームを条件指定で参照する
の「条件式で参照する」の項が参考になるのではないでしょうか。

Comments

[jun.k]

ありがとうございます。
df.ix[:,df.apply(corr(), axis=0) <= 0.2]
とやってみたのですが、corrが認識されずエラーになりました。もう少し考えてみます。