dataframe名を動的にdf1,df2,df3,...と作りたい

Question

前提・実現したいこと

pythonでcsvファイルのカットをするため、dataframeを条件で分割したい。
そのためdataframeを動的にdf1,df2,df3,...と作りたい。
分割条件は2つの行(Cycle,Step)の数字を使う。

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
~\anaconda3\lib\site-packages\pandas\core\indexes\base.py in get_loc(self, key, method, tolerance)
   2645             try:
-> 2646                 return self._engine.get_loc(key)
   2647             except KeyError:

pandas\_libs\index.pyx in pandas._libs.index.IndexEngine.get_loc()

pandas\_libs\index.pyx in pandas._libs.index.IndexEngine.get_loc()

pandas\_libs\hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()

pandas\_libs\hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()

KeyError: 0

During handling of the above exception, another exception occurred:

KeyError                                  Traceback (most recent call last)
~\anaconda3\lib\site-packages\pandas\core\internals\managers.py in set(self, item, value)
   1070         try:
-> 1071             loc = self.items.get_loc(item)
   1072         except KeyError:

~\anaconda3\lib\site-packages\pandas\core\indexes\base.py in get_loc(self, key, method, tolerance)
   2647             except KeyError:
-> 2648                 return self._engine.get_loc(self._maybe_cast_indexer(key))
   2649         indexer = self.get_indexer([key], method=method, tolerance=tolerance)

pandas\_libs\index.pyx in pandas._libs.index.IndexEngine.get_loc()

pandas\_libs\index.pyx in pandas._libs.index.IndexEngine.get_loc()

pandas\_libs\hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()

pandas\_libs\hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()

KeyError: 0

During handling of the above exception, another exception occurred:

ValueError                                Traceback (most recent call last)
<ipython-input-7-f3ba3baa1b51> in <module>
      1 for i in range(4):
----> 2     df[i] = df[(df['Cycle'] == '1') & (df['Step'] == 'i')]

~\anaconda3\lib\site-packages\pandas\core\frame.py in __setitem__(self, key, value)
   2936         else:
   2937             # set column
-> 2938             self._set_item(key, value)
   2939 
   2940     def _setitem_slice(self, key, value):

~\anaconda3\lib\site-packages\pandas\core\frame.py in _set_item(self, key, value)
   2999         self._ensure_valid_index(value)
   3000         value = self._sanitize_column(key, value)
-> 3001         NDFrame._set_item(self, key, value)
   3002 
   3003         # check if we are modifying a copy

~\anaconda3\lib\site-packages\pandas\core\generic.py in _set_item(self, key, value)
   3622 
   3623     def _set_item(self, key, value) -> None:
-> 3624         self._data.set(key, value)
   3625         self._clear_item_cache()
   3626 

~\anaconda3\lib\site-packages\pandas\core\internals\managers.py in set(self, item, value)
   1072         except KeyError:
   1073             # This item wasn't present, just insert at end
-> 1074             self.insert(len(self.items), item, value)
   1075             return
   1076 

~\anaconda3\lib\site-packages\pandas\core\internals\managers.py in insert(self, loc, item, value, allow_duplicates)
   1179         new_axis = self.items.insert(loc, item)
   1180 
-> 1181         block = make_block(values=value, ndim=self.ndim, placement=slice(loc, loc + 1))
   1182 
   1183         for blkno, count in _fast_count_smallints(self._blknos[loc:]):

~\anaconda3\lib\site-packages\pandas\core\internals\blocks.py in make_block(values, placement, klass, ndim, dtype)
   3039         values = DatetimeArray._simple_new(values, dtype=dtype)
   3040 
-> 3041     return klass(values, ndim=ndim, placement=placement)
   3042 
   3043 

~\anaconda3\lib\site-packages\pandas\core\internals\blocks.py in __init__(self, values, placement, ndim)
   2587             values = np.array(values, dtype=object)
   2588 
-> 2589         super().__init__(values, ndim=ndim, placement=placement)
   2590 
   2591     @property

~\anaconda3\lib\site-packages\pandas\core\internals\blocks.py in __init__(self, values, placement, ndim)
    123         if self._validate_ndim and self.ndim and len(self.mgr_locs) != len(self.values):
    124             raise ValueError(
--> 125                 f"Wrong number of items passed {len(self.values)}, "
    126                 f"placement implies {len(self.mgr_locs)}"
    127             )

ValueError: Wrong number of items passed 8, placement implies 1

該当のソースコード

for i in range(4):
    df[i] = df[(df['Cycle'] == '1') & (df['Step'] == 'i')]

Answer 1

辞書やリストを作ってそこに入れたほうが良いという点では、jeanbiegoのおっしゃるとおりです。

ただ、df['Cycle']やdf['Step']は整数型の可能性が高いので、今のままでは動かないような気がします。

辞書にするなら

df_dict = {i: df[(df['Cycle'] == 1) & (df['Step'] == i)] for i in range(4)}

リストにするなら

df_list = [df[(df['Cycle'] == 1) & (df['Step'] == i)] for i in range(4)]

です。

お勧めはしませんが、どうしても別々の変数に入れたければ

for i in range(4):
    globals()[f'df{i}'] = df[(df['Cycle'] == 1) & (df['Step'] == i)]

です。

Answer 2

for i in range(4):
    df[i] = df[(df['Cycle'] == '1') & (df['Step'] == 'i')]

これは、dfの中のインデックスiの要素に別のデータフレームを代入しようとしています。

変数を動的に作るのはexecとか使えばできますが、とてもわかりづらくなるのでオススメしません。
なので、たとえば下記のように辞書やリストを作ってそこに入れていくなどするのが良いですね。

df_dct = dict()
for i in range(4):
    df_dct[i] = df[(df['Cycle'] == '1') & (df['Step'] == 'i')]

Comments

[okabenzene]

なるほど。ありがとうございます。
書き換えて実行した結果エラーは出なかったですが、データが格納されていないようです。
df['Step'] == 'i'
このiが変数として認識されていないようなのです。
何か良い方法をご存じないでしょうか。

[jeanbiego]

str(i)でいかがでしょう。

[jeanbiego]

なお、もしデータフレームの要素の型が文字列じゃなくて数値ならば、ppaulさんの回答通りかと思いますよ。