ある列の値がすべて任意の同じ値の時、その列を消去する

Question

ある列の値がすべて任意の同じ値の時、その列を消去する

例えば, 下記の表があったとして、任意の値を5とした時に
d列とf列の値はすべて5なので、d列とf列を消去したいです。
g列はすべて同じ値をとっていますが、任意の値出ないので残ります。

実行前
//data.csv
a,b,c,d,e,f,g
0,0,1,5,5,5,9
4,5,3,5,4,5,9
0,7,5,5,4,5,9
4,5,6,5,7,5,9
4,7,8,5,4,5,9

実行後
//data.csv
a,b,c,e,g
0,0,1,5,9
4,5,3,4,9
0,7,5,4,9
4,5,6,7,9
4,7,8,4,9

pandasでできないか色々調べたのですが、判らなかったです。

お手数ですが、助言をいただけるとありがたいです。

Answer 1

こんな感じで。列ごとにユニークな要素の個数を数え、1でない列だけ残します。

import io
import pandas as pd

txt = """
a,b,c,d,e,f
0,0,1,5,5,5
4,5,3,5,4,5
0,7,5,5,4,5
4,5,6,5,7,5
4,7,8,5,4,5
"""

df = pd.read_csv(io.StringIO(txt), header=0)
print(df)
""" =>
   a  b  c  d  e  f
0  0  0  1  5  5  5
1  4  5  3  5  4  5
2  0  7  5  5  4  5
3  4  5  6  5  7  5
4  4  7  8  5  4  5
"""

print(df.nunique())
""" =>
a    2
b    3
c    5
d    1
e    3
f    1
dtype: int64
"""

print(df.loc[:,~(df.nunique()==1)])
""" =>
   a  b  c  e
0  0  0  1  5
1  4  5  3  4
2  0  7  5  4
3  4  5  6  7
4  4  7  8  4
"""

参考：
pandasでユニークな要素の個数、頻度（出現回数）をカウント | note.nkmk.me

追記

「すべて任意の数（たとえば5）の列を除去したい」ということだったので、

import io
import pandas as pd

txt = """
a,b,c,d,e,f
0,0,1,5,5,5
4,5,3,5,4,5
0,7,5,5,4,5
4,5,6,5,7,5
4,7,8,5,4,5
"""

df = pd.read_csv(io.StringIO(txt), header=0)
print(df)
""" =>
   a  b  c  d  e  f
0  0  0  1  5  5  5
1  4  5  3  5  4  5
2  0  7  5  5  4  5
3  4  5  6  5  7  5
4  4  7  8  5  4  5
"""

print(df==5)
""" =>
       a      b      c     d      e     f
0  False  False  False  True   True  True
1  False   True  False  True  False  True
2  False  False   True  True  False  True
3  False   True  False  True  False  True
4  False  False  False  True  False  True
"""

print(~(df == 5).all(axis=0))
""" =>
a     True
b     True
c     True
d    False
e     True
f    False
dtype: bool
"""

print(df.loc[:, ~(df == 5).all(axis=0)])
""" =>
   a  b  c  e
0  0  0  1  5
1  4  5  3  4
2  0  7  5  4
3  4  5  6  7
4  4  7  8  4
"""

df全体を5と比較してbooleanにし、~(df == 5).all(axis=0)で残す列を選択します。

Comments

[baya]

せっかく考えて頂いたのですが、説明不足ですみません。
任意の数字以外ですべて同じ値の列は残したいのです。

[hayataka2049]

追記しました

[baya]

なるほど、勉強になりました。
ありがとうございます