Dataframe.queryの結果がカラム名によって異なる

Question

前提

カラム名によって違いが生じる原因を調査しています。

顧客情報（customer_id）と売上日（sales_ymd）を持つ df_receipt というDataframeがあります。
sales_ymd が複数ある状況で、customer_id 毎に最新と最古の sales_ymd が異なるものを抽出したく考えています。

下記のように書いたものは正常に動作します。

df_tmp = df_receipt.groupby('customer_id').agg({'sales_ymd':['max','min']}).reset_index()
df_tmp.columns = ['customer_id', 'sales_max', 'sales_min']
df_tmp.query('sales_max != sales_min')

一方で、カラム名をmax、minとした時、それぞれが同じものも返されてしまいます。（query部分が想定通り動いていません。）

df_tmp = df_receipt.groupby('customer_id').agg({'sales_ymd':['max','min']}).reset_index()
df_tmp.columns = ['customer_id', 'max', 'min']
df_tmp.query('max != min')

カラム名が異なるだけなので予約後が関係しているかと思われるのですが、内部でどのように処理が行われているのか調べてもわからず、ご教示いただきたく考えております。
初歩的で恐縮ですが何卒よろしくお願いいたします。

Comments

[melian]

参考までに、適当にデータフレームを作成して Python 3.10.6/Pandas 1.5.3 で実行してみましたが、どちらも同じ結果になりました。

Answer 1

試してみたところ、query の engine に python を使うか、numexpr を使うかで、動きが違っていますね。
(pandas 1.5.3, numexpr 2.8.4)
engine のデフォルトは、numexpr がインストールされている場合は numexpr を使って、インストールされていない場合は python になるはずです。

この例で、pandas と numexpr のそれぞれがどう動いているのか、ドキュメントを探ってもよくわかりませんでした。numexpr が max と min を変数(カラム名)としてではなく、予約された関数名として扱っていて max != min → True としていそうな気がします。
対処法としては、下記のようになるのかと思います。
①maxとかminとかのカラム名を使わない
②queryを使わない (booleanインデックスを使う)
③engine='python' にする (これで確実に大丈夫なのかは不明)

import pandas as pd

df = pd.DataFrame({
    'cid': ['a', 'b', 'c'],
    'min': [1, 2, 3],
    'max': [1, 3, 5],
})

print(df.query('min != max', engine='numexpr'))
#  cid  min  max
#0   a    1    1
#1   b    2    3
#2   c    3    5
print(df.query('min != max', engine='python'))
#  cid  min  max
#1   b    2    3
#2   c    3    5

追記

numexpr の evaluate に local_dict で渡しても、max を変数としては扱ってくれませんでした。
なので、numexpr の予約語扱いになっているものは、うまく扱えないんじゃないでしょうか。
(何が予約語扱いなのかが不明ですが・・・)

import numexpr as ne

ne.evaluate('max', local_dict={'max': 1})
# TypeError: unsupported expression type: <class 'function'>

Answer 2

動作未検証ですがPandas query function not working with spaces in column namesの回答のように列名をバッククオートで囲むことで、正しく列名として識別されて動作するかもしれません（しないかもしれません）

ただいずれにせよ、maxなどの予約語を列名とするのは可能であれば避けたほうがよいと思います。
参考：Alternatives to pandas.query() when the column name is a Python keyword (import, sum, min etc)?