pandasの条件付のカラムの抽出の方法について

Question

以下のようなデータフレームで、cat_1とcat_2のdtypeが'category'とします。
そのとき、カラム名である'cat_1'と'cat_2'を抽出したいのですが、そのコードについて質問があります。

cat_1	cat_2	num_1
1	1	3.32
2	3	1.45
2	1	2.22

以下のように書けば、意図した通りに取得できます。

categories = train_X.columns[train_X.dtypes == 'category']
# Index(['cat1', 'cat2'], dtype='object')

しかし、感覚的には、次ような書き方が正しいように思うのですが、これはエラーになります。
何が間違っているのでしょう。

categories = train_X[train_X.dtypes == 'category'].columns
# IndexingError: Unalignable boolean Series provided as indexer (index of the boolean Series and of the indexed object do not match).

先に、条件に該当する列を抽出し、その列についてカラム名を取り出すと考えれば、後者のような書式になるように思うのですが、考え違いをしているのでしょうか。エラーの説明もUnalignable boolean Seriesがどういうもの指しているのかがわからず、行き詰まってしまいました。

Answer 1

pandasのdf[xxx]は、多くの場合はcolumnに対する選択になるのですが、xxxがbooleanの配列の場合は、rowに対する選択として機能します。
リファレンス(https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#boolean-indexingあたり)に、書いてあります。
(そのほかにも、たとえばxxxがスライスの場合もrowに対する選択です。)

なので、行数と train_X.dtypes == 'category' の要素数があっていないことになり、そのエラーになっています。
今回は配列ではなくSeriesを渡しているので、DataFrame(train_X)のインデックスと、Series(train_X.dtypes == 'category')のインデックスの一致もチェックされます。
両者のインデックスがあっていないというエラーです。

対策としては、

categories = train_X.loc[:, train_X.dtypes == 'category'].columns

と.locを使って、columnの選択であることを明示すればよいと思います。

Comments

[fu_3823]

コメント遅くなりすみません。大変参考なりました。ありがとうございました。

Answer 2

train_X[train_X.dtypes == 'category'].columns がエラーになるのは、
「条件に該当する列を抽出し」を train_X[train_X.dtypes == 'category'] ではできないからです。
fu_3823さんの期待する「条件に該当する列を抽出し」は以下だと思われます。

  cat_1 cat_2
0     1     1
1     2     3
2     2     1

では、train_X[train_X.dtypes == 'category']を調べてみましょう。

>>> print(train_X)
  cat_1 cat_2  num_1
0     1     1   3.32
1     2     3   1.45
2     2     1   2.22
>>> print(train_X.dtypes == 'category')
cat_1     True
cat_2     True
num_1    False
dtype: bool
>>> print(train_X[train_X.dtypes == 'category'])
>> print(train_X)
  cat_1 cat_2  num_1
0     1     1   3.32
1     2     3   1.45
2     2     1   2.22
>>> print(train_X.dtypes == 'category')
cat_1     True
cat_2     True
num_1    False
dtype: bool
>>> print(train_X[train_X.dtypes == 'category'])
<stdin>:1: UserWarning: Boolean Series key will be reindexed to match DataFrame index.
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Users\shinp\anaconda3\lib\site-packages\pandas\core\frame.py", line 2791, in __getitem__
    return self._getitem_bool_array(key)
  File "C:\Users\shinp\anaconda3\lib\site-packages\pandas\core\frame.py", line 2843, in _getitem_bool_array
    key = check_bool_indexer(self.index, key)
  File "C:\Users\shinp\anaconda3\lib\site-packages\pandas\core\indexing.py", line 2317, in check_bool_indexer
    raise IndexingError(
pandas.core.indexing.IndexingError: Unalignable boolean Series provided as indexer (index of the boolean Series and of the indexed object do not match).

なぜできないのかを調べてみましょう。

>>> print(type(train_X.dtypes == 'category'))
<class 'pandas.core.series.Series'>
>>> print((train_X.dtypes == 'category').index)
Index(['cat_1', 'cat_2', 'num_1'], dtype='object')
>>> print((train_X.dtypes == 'category').values)
[ True  True False]

これでわかるように、train_X.dtypes == 'category'はpandasのSeriesオブジェクトであり、train_X.dtypes == 'category'のindexはIndex(['cat_1', 'cat_2', 'num_1'], dtype='object')で値は、[ True True False]です。

A[train_X.dtypes == 'category']が値を持つためにはAがindexオブジェクトであるか、AがDataFrameオブジェクトかSeriesオブジェクトで、そのindexがIndex(['cat_1', 'cat_2', 'num_1']でなければなりません。(これはpandasの仕様です)
このために、train_X[train_X.dtypes == 'category']はエラーになります。

なぜ、train_X.columns[train_X.dtypes == 'category']の方は正しく動くかというと、train_X.columnsは以下のindexオブジェクトだからです。

>>> print(train_X.columns)
Index(['cat_1', 'cat_2', 'num_1'], dtype='object')

どうしても、「条件に該当する列を抽出」をやりたいなら、以下の方法でつくることは可能です。

>>> train_X.T[train_X.dtypes == 'category'].T
  cat_1 cat_2
0     1     1
1     2     3
2     2     1

Comments

[fu_3823]

詳しい回答ありがとうございました。大変参考になりした。