【Python】データフレームに新しいカラムを追加する際に最終行とそれ以外の行で異なる処理をしたい。

Question

既存のデータフレームで、新たなカラムを追加して、最終行だけカラム間で計算させた値を代入して、その他の行には0を代入するという処理するコードについてご教示いただければ幸いです。

例えば、下のようなdfについて新しいカラム['c']を追加する際に、最終行だけ df['c'] = df['a'] + df['b']　という処理をおこない、その他の行については　df['c'] = 0　の処理をおこないたいという内容です。

import pandas as pd
df = pd.DataFrame({'a': [1, 2, 3],'b': [4, 5, 6]})
newdf = pd.DataFrame({'a': [1, 2, 3],'b': [4, 5, 6],'c': [0, 0, 9]})

非常にシンプルな内容かと思いますが、中々、自分で解決できずにいます。
お手数ですがどうぞよろしくお願いします。

Answer 1

whereを使って、最終行以外を0で置き換えるとできます。

import pandas as pd
df = pd.DataFrame({'a': [1, 2, 3],'b': [4, 5, 6]})

df['c'] = (df['a'] + df['b']).where(df.index == df.index[-1], 0)

追記

データ量や計算量が多い場合など、最初に0でc列を作るやり方は、こう書くとうまくいくと思います。

import pandas as pd
df = pd.DataFrame({'a': [1, 2, 3],'b': [4, 5, 6]})

df['c'] = 0
last_idx = df.index[-1]
df.loc[last_idx, 'c'] = df.loc[last_idx, 'a'] + df.loc[last_idx, 'b']

Comments

[mashita_takuo]

ご回答ありがとうございます。
実際に加工しているデータでもうまくいきました。助かりました。
追加で質問なのですが、こちらの処理は内部で全行について一度（df['a'] + df['b']）を計算させているのでしょうか。今回の例ではデータ量が小さく、シンプルな値の足し算だったため全く問題ないのですが、データが大量で計算が複雑である場合に非効率となることはないのでしょうか。

[bsdfan]

おっしゃるとおり、一度全ての行に対して計算をしています。なので、行数や計算内容によっていは効率が悪くなることはあり得ます。
その場合は、jeanbiegoさんの回答にあるように、列全体を0で作っておいて、必要な部分だけ計算したほうが良いでしょう。

[mashita_takuo]

ご返信ありがとうございました。
いろいろなやり方が知れて勉強になりました。

Answer 2

0の列つくって、最終行だけ合計するのでもいいんですか？

import pandas as pd
df = pd.DataFrame({'a': [1, 2, 3],'b': [4, 5, 6]})
new_df = df
new_df["c"] = 0
new_df["c"][-1:] = new_df["a"][-1:] + new_df["b"][-1:]
print(new_df)
#   a  b  c
#0  1  4  0
#1  2  5  0
#2  3  6  9

Comments

[mashita_takuo]

ご回答いただきありがとうございます。
ただ、私も最初そのような形で書いていたのですが、実際に加工しているデータでは以下のようなエラーメッセージが出てしまい、うまく処理できませんでした。
SettingWithCopyWarning:
A value is trying to be set on a copy of a slice from a DataFrame
TypeError: 'slice(-1, None, None)' is an invalid key
ValueError: cannot set using a slice indexer with a different length than the value
エラーメッセージから原因を読み解くのがどうしても不慣れのため、あきらめて別の方法に逃げようとしていました。
私の例に書いたシンプルなデータだとご指摘いただいたコードで処理できているので、元のdataframeに問題があるのでしょうね。
お手数お掛け致しました。

[jeanbiego]

実際に書かれたコードとdataframeは載せれますか？

[jeanbiego]

あと、とりあえずエラーメッセージでググって、同じような人をみつけてエラーの意味を探るのも手ですよ。

[mashita_takuo]

大変失礼しました。データを載せるのは難しいですが、
TypeError: 'slice(-1, None, None)' is an invalid key
ValueError: cannot set using a slice indexer with a different length than the value
↑このエラーについては私の単純なミスがありました。
また、
SettingWithCopyWarning:
A value is trying to be set on a copy of a slice from a DataFrame
についてはググればいくつか出てきましたので、独力で解決してみたいと思います。
ご返信ありがとうございました。