DataFrame 行内の比較、データの置き換え方法（np.where と loc)

Question

python 初心者です。
下記のようなデータを読み込み、
行ごとに　A列とB列の絶対値を比較し、大きい方を残し、小さい方をゼロにすることを考えております

＜入力＞
A　B
5　-6
7　-2
9　-11
10　-5

＜出力＞
A　　B
0　　-6
7　　0
0　　-11
10　　0

np.where で置き換えを考えました。
また、np.where だと　typeがobjectになるので数値として扱いたいためastypeで置き換えをしてます

df['A']=np.where(df['A']>((-1)*df['B']),df['A'],'0') 
df['A']=df['A'].astype(np.float)
df['B']=np.where(df['B']<((-1)*df['A']),df['B'],'0') 
df['B']=df['B'].astype(np.float)

上記でプログラムは動くのですが、警告メッセージが出てきます。

＜警告＞
0224.py:47: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

改良を考えているのですが、loc　をどのように使えばよいかわからず、アドバイスをいただけると幸いです。

よろしくお願いいたします。

Comments

[ppaul]

A==-Bの時には、kumatakunさんが(たぶん)期待する答えにはならないですね。
たとえば、
A　B
5　-５
なら
A　B
0　-５
となります。

Answer 1

dtypeがobjectになるのは、np.whereで'0'と文字列で置き換えているからです。数値の0と置き換えたらいいです。

また、ここにあるコードの部分だけでは、SettingWithCopyWarningは出ないはずです。
例えば、このdfが別のデータフレームから抜き出したものだったりすると、この警告が出ることもあります。

df = pd.DataFrame({'A': [5, 7, 9, 10], 'B': [-6, -2, -11, -5]})
df['A'] = np.where(df['A'] > -df['B'], df['A'], 0)

だと警告は出ませんが、

df0 = pd.DataFrame({'A': [5, 7, 9, 10, 100], 'B': [-6, -2, -11, -5, -100]})
df = df0[:4]
df['A'] = np.where(df['A'] > -df['B'], df['A'], 0)

だと警告が出ます。
理由は警告に出てくるリンク先https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copyを見るか、SettingWithCopyWarningで検索すれば説明しているところがいろいろ見つかると思います。

警告を消す一番簡単な方法は、コピーしてしまうことですが、大元のデータフレーム(上の例のdf0)を更新したいケースでは、正しい対処法ではないです。

df = df.copy()
flg = df['A'] > -df['B']
df['A'] = np.where(flg, df['A'], 0)
df['B'] = np.whare(~flg, df['B'], 0)

Comments

[kumatakun]

ありがとうございます。
大変参考になりました。消去方法ありがとうございます。

Answer 2

（参考）

numpy.put_along_axis — NumPy v1.20 Manual

In [1]: import pandas as pd
      : df = pd.DataFrame({'A': [5, 7, 9, 10], 'B': [-6, -2, -11, -5]})
      : df
    A   B
0   5  -6
1   7  -2
2   9 -11
3  10  -5

In [2]: import numpy as np
      : np.put_along_axis(df.to_numpy(), (df['A'].abs() > df['B'].abs()).to_numpy(int)[:,None], 0, axis=1)

In [3]: df
Out[3]:
    A   B
0   0  -6
1   7   0
2   0 -11
3  10   0

Comments

[kumatakun]

ありがとうございます。
わかりやすいコード大変助かります。
またよろしくお願いいたします。

Answer 3

質問の方にコメントしましたがAが-Bに等しいときどうするかという問題があります。
これを解決するには、元のデータフレームを書き換えるのでは難しいです。

元のデータフレームと別に作るなら以下の方法があります。

>>> print(df)
    A   B
0   5  -6
1   7  -2
2   9 -11
3  10  -5
4   7  -7
>>> #A=-Bのとき、両方残す
>>> df2 = pd.concat([df['A'].where(df['A']>=-df['B'],0), df['B'].where(df['A']<=-df['B'],0)], axis=1)
>>> print(df2)
    A   B
0   0  -6
1   7   0
2   0 -11
3  10   0
4   7  -7
>>> #A=-Bのとき、両方0にする
>>> df3 = pd.concat([df['A'].where(df['A']>-df['B'],0), df['B'].where(df['A']<-df['B'],0)], axis=1)
>>> print(df3)
    A   B
0   0  -6
1   7   0
2   0 -11
3  10   0
4   0   0

Comments

[kumatakun]

大変ありがとうございます。
ご指摘のとおり　A＝＝-B の場合は、A=B=0にしたかったです。
わかりやすいコードありがとうございました。
また、よろしくお願いいたします

Answer 4

単純に、例えばA列であれば
df.loc[:, 'A']
に置換すれば大丈夫です。