データフレームが格納された変数の自動生成

Question

indexが日付、columnsがa,b,cとあるデータフレームdf(1000行)があり、a列は1から100までの重複を許容した値が入っているものとします。ここでa列を各々ソート(1,2,3・・・でソート)したデータフレームを新たに作成して、df1,df2,df3・・・・・としたいのですが。

個別にはdf1=df[df['a']==1]などとして数字の部分を変えていけばよいと思うのですが、数が多いのでFor文を使おうと考えて下記コードを組んだのですが、うまくいきませんでした。

for i in range(99):
exec('df'+str(i+1))=df[df['a']==i+1]

どのようなコードを書くべきでしょうか。
お手数をお掛けしますが、よろしくお願い致します。

Answer 1

個人的には特に新しく100個に分割したDataFrameを生成する必要はなく、単に
groupby() にてaの値に応たてグループ分けしておき、必用に応じて get_group() にてViewを取得すると良いかと思います。

import pandas as pd
import numpy as np

# ダミーデータの生成
N = 1000
df = pd.DataFrame(
  {'a':np.random.randint(1, 100+1, N),
   'b':np.random.rand(N),
   'c':np.random.rand(N)},
  index=pd.date_range('2018/01/01 00:00', freq='1h', periods=N))

# 'a'列の値でグループ分けする
groupd_df = df.groupby('a')

# a == 1 のグループを取得・表示
print(groupd_df.get_group(1))

# a == 100 のグループを取得・表示
print(groupd_df.get_group(100))

# ループで全グループを取得
for a_value, d in groupd_df:
    print(a_value)
    print(d)

Comments

[jun.k]

ありがとうございます。生成したデータを加工したいので、viewだけだとちょっと厳しいです。ソートしたデータフレームごとに欠損値をそのデータの中央値で補完とかの処理をすることを考えていました。

[magichan]

なるほど。
であれば、上記に記述したループを使って

dfs = {}
for a_value, d in groupd_df:
__dfs[a_value] = d.copy()

として、Dictに格納すると良いのではないかと思います

[jun.k]

ありがとうございます。できましたが、DataFrameでないので加工がしにくいのですが、変換はできないのでしょうか。pd.DataFrame(dfs[1])でできませんでした。

[magichan]

dfs[1]～dfs[100] それぞれが既に 独立したDataFrame型になっていると思います。

[jun.k]

試しにdfs[1].head()とすると、'function' object has no attribute 'head'と表示されてしまいます。type(dfs[1])ではmethodとなってしまいます。

[jun.k]

色々ありがとうございました。別の方法を検討しますので、本件は一旦クローズさせて頂きます。

Answer 2

df1のような個々の変数を用いるよりもデータフレームのリストを用いた方がよいです。

dfs = []
for i in range(100):
    dfs.append( df[df['a']==i+1])

dfs[0] # df[df['a'] == 1]

ただ、そもそも重複を除去したデータフレームを１００個生成する必要が本当にあるのか、全体の処理を見直したほうがよいかもしれません。（ループ処理内で必要に応じ生成でもできないか？）

Comments

[jun.k]

ありがとうございます。ちょっとこちらではエラーになってしまう(list indices must be integers or slices, not str)のですが、趣旨はわかりました。
そうですね。もう一度本当に必要か考えてみます。