python: データの条件抽出における非効率さを直したい (動的変数定義しか道はないのだろうか...？)

Question

#最終目的：カテゴリーごとにデータを分け、それぞれのデータに対して分析を行いたい

最終目的のため、データをカテゴリーごとに分けたいと思っていますが、今回の問題はそこにあります。

---

以下を変数名 df に格納。
![]

上記データについて、カテゴリーごとにその行のデータを抽出する場合、(今回はカテゴリーaのデータを抽出)

df_a = df[df['カテゴリー'] == "a"]

#もしくは
df_a = df.query('カテゴリー == "a"')

というコードで、以下のカテゴリーaのデータが抽出できます。(df_aを表示)

ここまではいいのですが、如何せんこの後が問題で、
もしカテゴリーの種類が多い場合には、(a,b,c,d,...,zまでとか)

df_a = df[df['カテゴリー'] == "a"]
df_b = df[df['カテゴリー'] == "b"]
df_c = df[df['カテゴリー'] == "c"]
df_d = df[df['カテゴリー'] == "d"]
...
df_z = df[df['カテゴリー'] == "z"]

というように今まで書いてきており...凄まじいほどに可読性が悪く、非効率です。

自分しか読まないかつ動かさないコードのため、このような形でいいかと思い進めてきたのですが、いい加減直したいと思い、こちらに投稿をしています。

これに対して、動的変数定義と呼ばれる概念(?)があるということは突き止め、そちらで書いてみたはいいのですが (forで exec とかを使う)、如何せん処理が遅いということと、他の方の個人blogや質問を見るに、あまり褒められた方法ではないという気がしています。

"目的"にあるように、以降 df_a のような変数に格納したカテゴリーごとのデータに対し、分析を行いたい次第となってはいますが（時系列解析とか)、上記カテゴリーごとのデータ抽出の方法において、何か別の書き方などはありますでしょうか。
もしくは、そもそもこのような形で変数ごとにデータを格納したいと考えることが間違いだという場合には、そちらに関しても何か改善案等ございましたら、頂けますと幸いです。

※Google Colaboratory

Answer 1

groupby() を使いましょう！
例えば

>>> df = pd.DataFrame([{'category':random.choice(['a','b','c']),'price':random.choice([1000,2000,3000,4000,5000]),'amount':random.choice(list(range(5)))} for _ in range(20)])
>>> df
   category  price  amount
0         b   3000       1
1         c   4000       4
2         c   3000       2
3         a   1000       2
4         c   5000       3
5         b   1000       3
6         c   5000       4
7         c   1000       0
8         c   2000       3
9         b   4000       0
10        c   4000       1
11        c   5000       4
12        a   5000       4
13        c   1000       1
14        c   4000       0
15        b   1000       4
16        a   5000       2
17        b   5000       2
18        c   1000       2
19        b   4000       2

こんなデータがあったとして、gropuby() をすると

>>> ([print(x) for x in df.groupby('category').category])
('a', 3     a
12    a
16    a
Name: category, dtype: object)
('b', 0     b
5     b
9     b
15    b
17    b
19    b
Name: category, dtype: object)
('c', 1     c
2     c
4     c
6     c
7     c
8     c
10    c
11    c
13    c
14    c
18    c
Name: category, dtype: object)
[None, None, None]

というデータが得られます。カテゴリーごとに合計を得たければ

>>> df.groupby('category').sum()
          price  amount
category               
a         11000       8
b         18000      12
c         35000      24

で一発ででますし、カテゴリーにアクセスしたければ

>>> df.groupby('category').get_group('a')
   category  price  amount
3         a   1000       2
12        a   5000       4
16        a   5000       2

で出来ます。いかがでしょう？

Answer 2

例えば以下のように書き方はどうでしょう。

df_dict = dict() # カテゴリごとのデータフレームを格納する辞書

for category in df["カテゴリー"].unique(): # dfの"カテゴリー"の種類別に
    df_dict[category] = df(df["カテゴリー"] == category)

例えば、df_dict['a']にはカテゴリー'a'のデータが格納されます。

Answer 3

カテゴリーと取引日付でソートしてから、カテゴリーをインデックスにしてしまえばいいのでは。

import pandas as pd
import io

txt = """
取引日付,カテゴリー,金額,数量
2017/2/16,a,1000,2
2017/5/14,a,1500,1
2017/5/22,b,3000,1
2017/6/15,b,4000,1
2017/8/27,c,500,4
2017/7/8,b,3000,1
2017/3/16,a,2000,2
2017/4/25,a,2000,1
2017/8/26,c,500,3
2017/7/12,b,3000,1
"""

df = pd.read_csv(io.StringIO(txt), parse_dates=['取引日付'])
df = df.sort_values(['カテゴリー', '取引日付'])
df.set_index(['カテゴリー'], inplace=True)
print(df)

category = list(dict.fromkeys(df.index)) # 一意なカテゴリーのリスト
for cat in category:
    print(df[cat:cat])
    print("-" * 32)

            取引日付    金額  数量
カテゴリー
a     2017-02-16  1000   2
a     2017-03-16  2000   2
a     2017-04-25  2000   1
a     2017-05-14  1500   1
b     2017-05-22  3000   1
b     2017-06-15  4000   1
b     2017-07-08  3000   1
b     2017-07-12  3000   1
c     2017-08-26   500   3
c     2017-08-27   500   4
            取引日付    金額  数量
カテゴリー
a     2017-02-16  1000   2
a     2017-03-16  2000   2
a     2017-04-25  2000   1
a     2017-05-14  1500   1
--------------------------------
            取引日付    金額  数量
カテゴリー
b     2017-05-22  3000   1
b     2017-06-15  4000   1
b     2017-07-08  3000   1
b     2017-07-12  3000   1
--------------------------------
            取引日付   金額  数量
カテゴリー
c     2017-08-26  500   3
c     2017-08-27  500   4
--------------------------------

Answer 4

evalを使うのはお勧めしませんが、globals()を使う方は安全で性能も良いと思います。

>>> for i in ['a', 'b', 'c']:
...     globals()['df_'+i] = 'sample_' + i
...
>>> print(df_a)
sample_a
>>> print(df_b)
sample_b
>>> print(df_b)
sample_b
>>> print(df_c)
sample_c

のような使い方です。

もっとも、普通にリストに入れた方が、後も楽です。