lamda式を使って、dfのcolumnsを編集する方法

Question

実現したいこと

Pandasのメソッドチェーンを用いてDataFrameを処理しているのですが、途中で列名を変更するチェーン処理方法わからないです。対応方法があればご教示願います。

エラーに出ている通り、lambdaでは代入ができないとのことなのですが、メソッドチェーンで対応する方法はありますでしょうか？

lamda式を使わない方法

import pandas as pd
df = pd.DataFrame(np.arange(10).reshape(5,2), columns=['A', 'B'])
df.columns = pd.MultiIndex.from_product([['C'], df.columns])

#   C   
#   A  B
#0  0  1
#1  2  3
#2  4  5
#3  6  7
#4  8  9

試したこと

df.pipe(lambda df: df.columns= pd.MultiIndex.from_product([['C'], df.columns])) 
#SyntaxError: lambda cannot contain assignment

Answer 1

pandas.DataFrame.set_axis — pandas 1.0.3 documentation

df = (pd.DataFrame(np.arange(10).reshape(5,2), columns=['A', 'B'])
      .pipe(lambda df: df.set_axis(pd.MultiIndex.from_product([['C'], df.columns]), axis='columns')))

df
#    C
#    A  B
# 0  0  1
# 1  2  3
# 2  4  5
# 3  6  7
# 4  8  9

質問の例の場合は、

df = pd.concat({'C': pd.DataFrame(np.arange(10).reshape(5,2), columns=['A', 'B'])}, axis=1)

df
#    C
#    A  B
# 0  0  1
# 1  2  3
# 2  4  5
# 3  6  7
# 4  8  9

でも可能ですが……。

Comments

[MagMag]

ありがとうございます。私の力だと後から読めないので、素直にdefで組むようにします。

Answer 2

lambda式内で代入する方法、出来なくはないですが、
コードが無駄に読みにくくなるのでお勧めしません。

import numpy as np
import pandas as pd

df = pd.DataFrame(np.arange(10).reshape(5,2), columns=['A', 'B'])
df = df.pipe(lambda df:(df, setattr(df, "columns", pd.MultiIndex.from_product([['C'], df.columns])))[0])

lambda の部分

lambda df: (df, setattr(df, "column", ...))[0]

pipe()が値を返さないといけないので、
辻褄を合わせる為のコードが必要になります
(df, ...)[0] -> df を返す

また、これはオブジェクトでの例ですが、
辞書への代入の場合等はまた別の方法になったりするので、
無理に lambda でやろうとせずに、関数へ切り出した方がよいです。

---

python 3.8 で導入された 代入式 では出来るのかなと、
一応、調べましたが、期待する使い方は出来なさそう。

PEP 572 -- Assignment Expressions

Unparenthesized assignment expressions are prohibited in lambda functions. Example:

(lambda: x := 1) # INVALID
lambda: (x := 1) # Valid, but unlikely to be useful
(x := lambda: 1) # Valid
lambda line: (m := re.match(pattern, line)) and m.group(1) # Valid

Comments

[MagMag]

ありがとうございました。

ちなみにlambdaではなく関数を定義してメソッドチェーンを作る場合、どのメソッドを使用したらいいでしょうか？def col_convert(df)を作って、df.pipe(col_converter)としてはみたのですが、関数に別の引数を入れたいので、うまくいきませんでした。

[teamikl]

どのような引数を想定してますか？
他の引数を渡すには、
def col_convert(df, arg1, arg2): ...
として
df.pipe(col_convert, arg1, arg2)

[teamikl]

丁度良いサンプルコードがあったので参考に。
https://chrisalbon.com/python/data_wrangling/pandas_create_pipeline/

[MagMag]

今回の例は2階層のmultiindex化ですが、階数を引数にして、場合によっては3階層にしたいと思っています。その意味では、教えていただいた処理でいけそうでうね。やってみます！

[MagMag]

以下関数を組んで、df.pipe(set_muti_cols, n_level=2)で動作しました。ドキュメンテーションをきちんと確認しておらず、申し訳ありません。

def set_multi_cols(df, n_level=2):
　　if n_level ==2:
　　　df.columns = pd.MultiIndex.from_product([['C'], df.columns])
　　elif n_level ==3:
　　　df.columns = pd.MultiIndex.from_product([['D'], ['C'], df.columns])
　　return df

ただ、この操作をしたところ、dfの中身も変わってしまうようでした（参照ではなく代入操作になっている）。本筋と違うのですが、pipe(lambda df: )だと参照なのに、関数を定義して呼び出すとなぜ代入になるのでしょうか？

[teamikl]

dfA = df.pipe(lambda df: ...) # 元の df は変化しない
dfB = df.pipe( `df.columns = `使った関数 ) # 元の dfが変化
という事だと思いますが、代入の様な副作用を伴う操作の為です。
lambda <=> 関数だからというわけではなく、代入などが無ければ関数でも大丈夫。
(必要なら事前に df.copy()、メソッドチェーンで使う専用の関数も内部でcopy()しています)

[MagMag]

なるほど。defの中でdf.copy()で新しい変数を作って対応したら、実装できました。ありがとうございました。色々と教えていただいたのでベストアンサーにさせてください！