複数の閾値に基づいたデータ変換

Question

前提・実現したいこと

データフレームに含まれるデータに対して、複数の閾値を基に別の数値に変換するスクリプトを書いています。
maskやwhereを使って、データ変換を試みてはいるのですが、うまくいかず。
良い方法、ご存知でしょうか？

---

ex)df
Date A B C D E .....
: : : : : : .....
2017/5/31 -0.79 0.02 0.07 0.31 -1.02 .....
2017/6/30 -1.01 -0.80 -0.11 0.25 1.18 .....
2017/7/31 -0.73 0.50 0.10 0.41 1.19 .....
: : : : : : .....
2017/12/31 -0.31 0.35 0.01 0.61 1.29 .....

---

ex)閾値条件
値が-0.75未満なら、1
値が-0.75以上-0.25未満なら、2
値が-0.25以上0.25未満なら、3
値が0.25以上0.75未満なら、4
値が0.75以上なら、5
をそれぞれ付与する

---

単一の条件(例えば、-0.75未満なら1)だった場合、
df1 = df.mask(df >= -0.75)
df_Score1 = df1.mask(df1 < -0.75,1)

で変換できるのですが、複数条件(値が-0.75以上-0.25未満)ではこのやり方が通用しないのではないかと思っています。

補足情報

windows7、python3.6.1を使用しています。

Answer 1

DataFrame.apply() と pandas.cut() を組み合わせる方法もあります。

import pandas as pd
import numpy as np

df = pd.DataFrame(
  [['2017/5/31',-0.79,0.02,0.07,0.31,-1.02],
   ['2017/6/30',-1.01,-0.80,-0.11, 0.25,1.18],
   ['2017/7/31',-0.73,0.50,0.10,0.41,1.19],
   ['2017/12/31',-0.31,0.35,0.01,0.61,1.29]],
  columns=['Date','A','B','C','D','E'])
df = df.set_index('Date')
print(df)
#                A     B     C     D     E
# Date
# 2017/5/31  -0.79  0.02  0.07  0.31 -1.02
# 2017/6/30  -1.01 -0.80 -0.11  0.25  1.18
# 2017/7/31  -0.73  0.50  0.10  0.41  1.19
# 2017/12/31 -0.31  0.35  0.01  0.61  1.29

df2 = df.apply(lambda ser: pd.cut(ser, [-np.inf,-0.75,-0.25,0.25,0.75,np.inf], labels=[1,2,3,4,5], right=False))
print(df2)
#             A  B  C  D  E
# Date
# 2017/5/31   1  3  3  4  1
# 2017/6/30   1  1  3  4  5
# 2017/7/31   2  4  3  4  5
# 2017/12/31  2  4  3  4  5

ちなみにDataFrame.mask()を使うのであれば

f_Score2 = df.mask((df >= -0.75) & (df < -0.25), 2)

のように記述することができます

Comments

[hiroki_0926]

ありがとうございます。

Answer 2

.applymapによってDate列を除く全データに閾値条件(func)を適用します。

import pandas as pd
from io import StringIO

s = """
Date,A,B,C
2017/5/31,-0.76,-0.26,0.24
2017/6/30,0.74,0.76,123.456
"""
df = pd.read_csv( StringIO(s), sep=",")

def func( v):
    if v < -0.75:
        return 1
    elif v < -0.25:
        return 2
    elif v < 0.25:
        return 3
    elif v < 0.75:
        return 4
    return 5

df.ix[:,1:] = df.ix[:,1:].applymap( func) # A,B,C列～
print(df)

Comments

[hiroki_0926]

ありがとうございます。

教えて頂いたスクリプトを回した結果、値変換されたのですが、
".ix is deprecated. Please use .iloc for label based indexing or .iloc for positional indexing"
というメッセージが出たので、.ilocに書き換えました。

Answer 3

-0.75 <= df < -0.25

で良いんじゃないでしょうか？

Comments

[hiroki_0926]

早速ありがとうございます。