dataframeから特定の条件の箇所をブロックとして抜き出す

Question

##解決したいこと
下記コードを実行するとdataframeの各行に0,1のクラスが与えられます。(図1参照)
得られたクラス分けをもとに0あるいは1が連続している箇所を一つのブロックとして抜き出し、ブロック内の各値の平均を算出、これをdataframe全体に行い結果をdataframeに保存したいです。結果を保存する際はクラスごとのdataframeを作成せず、同一のものに保存し、図1のように属するクラスを確認できるようにしたいです。

def calc_minus(n):
    return n * -1

place = '/hogehoge.xlsx'
wb = openpyxl.load_workbook(place)
ws = wb["Sheet1"]

#Vzを取得
Vz = []
for row in ws.iter_rows(min_row=1,min_col=1,max_col=1):
    if all(is_empty(c) for c in row):
        break
    for col in row:
        Vz.append(col.value)    
        
#Vxを取得
Vx = []
for row in ws.iter_rows(min_row=1,min_col=2,max_col=2):
    if all(is_empty(c) for c in row):
        break
    for col in row:
        Vx.append(col.value)    
Vx_alt =list(map(calc_minus,Vx))

#Vyを取得
Vy = []
for row in ws.iter_rows(min_row=1,min_col=3,max_col=3):
    if all(is_empty(c) for c in row):
        break
    for col in row:
        Vy.append(col.value)    

#gmmで分類
gmm = GaussianMixture(n_components=2,covariance_type='full'
                      ).fit(np.array(Vx_alt).reshape(-1,1))

#dataframeを作成
results = gmm.predict(np.array(Vx_alt).reshape(-1,1))
results_list = results.tolist()

results_array = pd.DataFrame(np.array(Vx_alt).reshape(-1,1),columns=['Vx'])
results_array['Vy']=Vy
results_array['Vz']=Vz
results_array['class']=results

Answer 1

0あるいは1が連続している箇所を一つのブロックとして…

結果が判りづらいので、ブロックの開始・終了の位置(元のデータフレームのインデックス)を追加しています。

import pandas as pd
from numpy.random import default_rng

N = 100
rg = default_rng()

df = pd.DataFrame({
     'Vx': rg.uniform( 0.0, 4.0, N),
     'Vy': rg.uniform(-1.0, 1.0, N),
     'Vz': rg.uniform( 5.0, 7.0, N),
  'class': rg.integers(0, 2, N),
})

dfx = (
  df.groupby(df['class'].ne(df['class'].shift()).cumsum())
    .apply(lambda x:
               x.mean().append(
                 pd.Series([x.index.min(), x.index.max()],
                           index=['begin', 'end']))
           if len(x) > 1 else None)
    .dropna().reset_index(drop=True)
    .astype({'class': int, 'begin': int, 'end': int})
)

#
#
               df                                                 dfx
          Vx        Vy        Vz  class            Vx        Vy        Vz  class  begin  end
0   3.773857 -0.912339  5.791987      1      1.801505 -0.075173  6.260591      0      1    3
1   1.883060  0.127226  6.809828      0      0.864858  0.101190  5.868909      0      7    8
2   2.584235 -0.464148  6.726102      0      2.832653 -0.345053  6.173351      1      9   10
3   0.937219  0.111404  5.245844      0      1.869920  0.037095  6.206466      1     20   21
4   1.722865  0.078432  6.860804      1      2.578025  0.324663  5.605735      0     22   23
5   3.701636  0.237778  6.614372      0                                  :
6   0.464745  0.635066  6.215357      1                                  :
7   0.860069 -0.285645  6.029577      0
8   0.869647  0.488025  5.708240      0
9   2.745221  0.020144  6.577324      1
10  2.920085 -0.710250  5.769379      1
11  0.278420 -0.970768  6.845683      0
12  2.100717 -0.375994  5.481765      1
13  3.611791 -0.584952  6.363336      0
14  3.531184  0.318425  5.675838      1
15  3.500748 -0.135428  6.149983      0
16  2.789142 -0.194341  5.863369      1
17  1.503722  0.411294  5.593864      0
18  2.323442  0.891810  5.315335      1
19  0.447059  0.391535  5.280805      0
20  0.286016 -0.331588  5.947702      1
21  3.453824  0.405779  6.465230      1
22  1.530574  0.543354  5.633924      0
23  3.625477  0.105973  5.577545      0
24  2.455725 -0.531541  6.533032      1
               :

Comments

[Seniorious]

ご回答ありがとうございます。またブロックの開始，終了位置も示していただき助かります．

Answer 2

やりたいことが正確には分からないので推定してコーディングしました。

df['block'] = (df['class'].shift() != df['class']).cumsum() - 1
df2 = df.groupby('block').mean()
df2['class'] = df2['class'].astype(int)
print(df2)

実行結果は以下です。

>>> print(df)
          Vx        Vy        Vz  class
0   0.713714  5.077248 -5.710741      0
1  -2.384603  2.749758 -1.496205      0
2   0.691213 -4.300654  5.991640      1
3  -1.152535  0.047083  2.225310      1
4   3.787389  4.381099 -6.763796      1
5  -5.781316 -2.719944 -3.549003      1
6   3.525693  3.859094 -4.556069      0
7  -1.890213  0.714044 -3.304741      1
8   0.642162 -5.764175 -3.035738      1
9   3.264630 -5.960897  1.483059      0
10  1.118401 -3.250766 -5.959740      0
11 -0.097570 -4.738675 -2.763576      1
12  0.493329 -1.711824 -3.488968      0
13 -5.031331 -2.279175 -3.896500      0
14 -3.066312  0.224330 -6.943145      0
15 -1.927776 -2.476299  4.638220      1
16 -4.411190 -2.012366 -6.217488      0
17 -2.909596  1.803804 -2.310100      1
18  1.260642 -0.809250 -5.833690      1
19 -5.576907  1.643118  4.439394      0
>>> df['block'] = (df['class'].shift() != df['class']).cumsum() - 1
>>> df2 = df.groupby('block').mean()
>>> df2['class'] = df2['class'].astype(int)
>>> print(df2)
             Vx        Vy        Vz  class
block
0     -0.835445  3.913503 -3.603473      0
1     -0.613812 -0.648104 -0.523962      1
2      3.525693  3.859094 -4.556069      0
3     -0.624026 -2.525065 -3.170239      1
4      2.191516 -4.605831 -2.238340      0
5     -0.097570 -4.738675 -2.763576      1
6     -2.534771 -1.255557 -4.776204      0
7     -1.927776 -2.476299  4.638220      1
8     -4.411190 -2.012366 -6.217488      0
9     -0.824477  0.497277 -4.071895      1
10    -5.576907  1.643118  4.439394      0

求めるものと違っているなら、質問に追加してください。

Comments

[Seniorious]

ご回答いただきありがとうございます。melian様のものがより求めているもの近かったため，melian様をベストアンサーとさせていただきました．