pythonでの変数やハッシュの扱いに関する質問です

Question

###実現したいこと
python でデータ処理をしています．
for文内でpandasのデータフレームの抽出をして，
それらを逐次異なる変数に入れたいのですが，いまいち変数の保存（定義？）がうまくいかないので教えていただきたいです．

###コードの補足
dfには予めデータが入っています．
dfから，Party Dateの年代別にデータを抽出しようとしています．
理想としては，このfor文を回した後に，df2006~df2015に抽出されたデータフレームが入っていてほしいです．
データフレームが抽出できればいいので，df[2006]などのハッシュでも大丈夫です．

###今のソースコード

for i in range(2006,2015+1):
    print("#")
    print(i)
    year_str = str(i) + '......'
    df_str = 'df' + str(i)
    df_str = df[df["Party Date"].str.contains(year_str)]
    print(df_str)

###試してみたこと
to_csvで出力してそれをもう一度読み込む方法も考えたのですが，やっぱりfor文内で設定した変数が保存されていないので，やっぱり不明です．
今，プログラミングの勉強中ですので，原因や参照した方がよさそうなものなども教えていただけると助かります．
よろしくお願いいたします．

###エラーメッセージ
for文が終わったあと，試しにdf2006を表示してみたところ，以下のようなエラーが出てきます．

NameError                                 Traceback (most recent call last)
<ipython-input-18-74c79dd242b1> in <module>()
----> 1 df2006

NameError: name 'df2006' is not defined

Answer 1

mkgreiさんが既に、不具合の原因と対策を解説されておりますので、私はデータを年代毎に別ける方法を書きます。

現状 DataFrame がどのような構成なのかがわからないのですが、もしかしたら**'Party Date'** Columnは文字列データなのではないでしょうか。
であれば、pandas.to_datetime() 等を使用して一度 datetime型に変換してお勧めします。
そうすることでその後の集計(年別/月別など)が大幅に楽になります。

例えば、Party Date Column が datetime型の場合、各行の年の情報を取得したい場合は、
df['Party Date'].dt.year
と簡単に記述できます。

つぎに、質問にあるコードでは ループを回して文字列比較にて年代別に別けようとしておりますが、pandas には DataFrame.group_by() という特定のColumnの内容でグループ分けする機能がありますので、こちらを使用すると良いかと思います。

# 年毎にグループ分け
grouped_df = df.group_by(df['Party Date'].dt.year)
# 各年毎にループ処理
for year, df_by_year in grouped_df:
    print(year)
    print(df_by_year)

以上をまとめたサンプルを書きましたので参考にしてください。

import pandas as pd

# 適当なデータの作成
df = pd.DataFrame({
  'Party Date':['2016/11/1', '2016/12/1', '2017/1/1','2017/2/1'],
  'Data':[1,2,3,4]
})

# データ表示
print(df)
#    Data Party Date
# 0     1  2016/11/1
# 1     2  2016/12/1
# 2     3   2017/1/1
# 3     4   2017/2/1

# Data Pary の型表示
print(df['Party Date'].dtype)
# object

# 'Party Date' Column を時系列データに変換
df['Party Date'] = pd.to_datetime(df['Party Date'])

# Data Pary の型表示
print(df['Party Date'].dtype)
# datetime64[ns]

# Party Date Columnの年データでグループ分け
grouped_df = df.groupby(df['Party Date'].dt.year)

# 2016年のデータのみ抽出
print(grouped_df.get_group(2016))
#    Data Party Date
# 0     1 2016-11-01
# 1     2 2016-12-01

# 2017年のデータのみ抽出
print(grouped_df.get_group(2017))
#    Data Party Date
# 2     3 2017-01-01
# 3     4 2017-02-01
# ```

# ループで全ての年のデータに処理を行いたい場合
for year, df_by_year in grouped_df:
    print(year)
    print(df_by_year)

Comments

[yyone]

おっしゃる通り，PartyDateは文字列で，datetimeに変換することで楽に抽出ができました．
今回のコードで直接使うことはないかもしれないのですが，
またほかのデータを扱う際には参考にさせていただこうと思います．
丁寧なご回答ありがとうございました．

Answer 2

変数名を生成しながら、その変数に何かを代入するのは自然ではありません。
Pythonではこのような場合、辞書を経由して操作することが多いかと思います。

stored_data = {}
for i in range(2006,2015+1):
    print("#")
    print(i)
    year_str = str(i) + '......'
    df_str = 'df' + str(i)
    stored_data[df_str] = df[df["Party Date"].str.contains(year_str)]
    print(df_str, stored_data[df_str])
print(stored_data['df2006'])

Comments

[yyone]

回答いただきありがとうございました．
自分で調べているときにも辞書を使用するようなことが書かれているブログなど見たのですが，
分かっていませんでした．
具体的にコードを書き直してくださったおかげで理解が進みましたので，
ベストアンサーにさせていただきました．