Python df 〜以下の列を削除するには？

Question

前提・実現したいこと

Python pd.dfで以下のような複数データあるとき、5行以下の列のみ削除するにはどうすれば良いでしょうか？
欲しい結果としてはA列、B列、D列のみ抽出し、C、E列は削除するようなイメージです。

A    B    C   D    E　　　

0 1 1 1 1 1
1 2 2 2 2 2
2 3 3 3 3 NaN
3 4 4 4 4 NaN
4 5 5 NaN 5 NaN　　
5 6 6 NaN 6 NaN
6 7 7 NaN 7 NaN
7 8 8 NaN 8 NaN
8 9 NaN NaN 9 NaN
9 10 NaN NaN 10 NaN

該当のソースコード

import pandas as pd

df = pd.DataFrame({ 'A' : [1,2,3,4,5,6,7,8,9,10],
                    'B' : [1,2,3,4,5,6,7,8,'NaN','NaN'],
                    'C' : [1,2,3,4,'NaN','NaN','NaN','NaN','NaN','NaN'],
                    'D' : [1,2,3,4,5,6,7,8,9,'NaN'],
                    'E' : [1,2,'NaN','NaN','NaN','NaN','NaN','NaN','NaN','NaN']
                    })
# print(df)

#df.drop()

試したこと

drop()とlen()を組み合わせてみるも上手く回らず。

Answer 1

シンプルな解答

df.loc[:, (df != 'NaN').sum() > 5]
#     A    B    D
# 0   1    1    1
# 1   2    2    2
# 2   3    3    3
# 3   4    4    4
# 4   5    5    5
# 5   6    6    6
# 6   7    7    7
# 7   8    8    8
# 8   9  NaN    9
# 9  10  NaN  NaN

FutureWarningが出ますが気にしなくて大丈夫です。エラーが気になる場合は.isin()を使った、より速いコードがあります。

%%timeit
df.loc[:, (df != 'NaN').sum() > 5]
# 1.23 ms ± 35.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

%%timeit
df.loc[:, (~df.isin({'NaN'})).sum() > 5]
# 1.06 ms ± 7.88 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

@can110氏のコード

%%timeit
df.drop(columns=[c for c in df.columns
                 if sum(~np.isnan(df.replace('NaN', np.nan)[c])) < 5])
# 5.56 ms ± 30.7 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

*今回の場合、df.replace('NaN', np.nan)はdf.astype(float)で代用可能です。

---

%%timeit
df.loc[:, (~np.isnan(df.astype(float).to_numpy())).sum(0) > 5]
# 779 µs ± 3.16 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

%%timeit
df.loc[:, np.isfinite(df.astype(float).to_numpy()).sum(0) > 5]
# 767 µs ± 3.87 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

さらに速くなりました。

Comments

[HK--]

ありがとうございます！
勉強になります。こんなにも速くなるものなんですね。

Answer 2

以下のような感じで有効な数値が５個未満の列を抽出しdropすればよいです。

import pandas as pd
import numpy as np

df = pd.DataFrame({ 'A' : [1,2,3,4,5,6,7,8,9,10],
                    'B' : [1,2,3,4,5,6,7,8,'NaN','NaN'],
                    'C' : [1,2,3,4,'NaN','NaN','NaN','NaN','NaN','NaN'],
                    'D' : [1,2,3,4,5,6,7,8,9,'NaN'],
                    'E' : [1,2,'NaN','NaN','NaN','NaN','NaN','NaN','NaN','NaN']
                    })
df = df.replace('NaN', pd.np.nan) # 'NaN' -> NaN値へ

drops = []
for c in df.columns:
    if sum(~np.isnan(df[c])) < 5: # 有効な数値が５個未満
        drops.append(c)

drops = [c for c in df.columns if sum(~np.isnan(df[c])) < 5 ] # あるいはこれでもよい

df = df.drop(columns=drops)
print(df)
#    A    B    D
#0   1  1.0  1.0
#1   2  2.0  2.0
# :

Comments

[HK--]

ありがとうございます！
基本的な構造で私でも分かりやすかったです。