特定の日付から前半/後半の2つに分けて集計したい。

Question

前提・実現したいこと

Python初心者です。pandas等を用いて一つのexcelファイルからデータ分析をしています。
ある特定の日付からそれ以前をfirst_half、それ以降をsecond_halfのようにしてそれぞれ集計したいです（下記の例でいえば2021-08-01より前をfirst_half、以後をsecond_half）。
なお集計後に出力する値はsumやmean、max、minです。agg()を使用しようと考えています。

どうすればよいでしょうか？

発生している問題・エラーメッセージ

該当のソースコード

df = pd.DataFrame({
        "Date": pd.date_range(start='2021/4/1', periods=100, freq='D'),
      "Player": [f'Player {i}' for i in np.random.randint(1, 6, 100)],
       "Speed": np.random.sample(100) * 100.0,
       "Angle": np.random.sample(100) * 40.0 - 20.0,
  "Efficiency": np.random.sample(100) * 100.0,

試したこと

補足情報（FW/ツールのバージョンなど）

python,vscode

Comments

[melian]

前回の質問に対する回答を参考にして下さい。

[8960]

前回もご回答いただきありがとうございました。
前回回答いただいたものをもとに試してみてはいるのですが、「特定の日付で区分（集計）」という作業がどうにもできません…。.groupby()や.agg()をつかってみてはいますが、ここに特定の日付基準で区分して集計を＋することができません。

[meg_]

データフレームを2つに分けて集計してみてはどうでしょうか？（まずは簡単な方法から実装するのは有りだと思います）

[8960]

ご回答いただきありがとうございます。
ご提案いただいた通り、２つに分けて集計するとできました。
ありがとうございました。

Answer 1

以下のふたつの内容を理解すれば、できるでしょう。

pandas.DataFrameから条件を満たす行名・列名の行・列を抽出（選択）

pandas.DataFrameをGroupByでグルーピングし統計量を算出

Comments

[8960]

ご回答いただきありがとうございます。
読みましたがどうも…。

.groupby()や.agg()はよく使いますので理解できるのですが、特定の日付で区分という作業がどうにもできません。週や四半世紀といったわかりやすい区分だと良かったのですが。

Answer 2

groupby()や.agg()はよく使いますので理解できるのですが、

groupby() を使うなら、df.groupby(df['Date'] >= '2021-08-01') となるでしょう。

import pandas as pd
import numpy as np

N = 60
df = pd.DataFrame({
        "Date": pd.date_range(start='2021/7/1', periods=N, freq='D'),
      "Player": [f'Player {i}' for i in np.random.randint(1, 6, N)],
       "Speed": np.random.sample(N) * 100.0,
       "Angle": np.random.sample(N) * 40.0 - 20.0,
  "Efficiency": np.random.sample(N) * 100.0,
})

print(df.head(), '\n', df.tail())

_ = '''
        Date    Player      Speed      Angle  Efficiency
0 2021-07-01  Player 5  19.424221  10.398202   26.556917
1 2021-07-02  Player 4  19.584696   6.788205   69.426798
2 2021-07-03  Player 1  99.390299  16.283226   81.342796
3 2021-07-04  Player 5  41.540630  -4.641508   32.071403
4 2021-07-05  Player 1  44.272788   6.083881   76.182775 

         Date    Player      Speed      Angle  Efficiency
55 2021-08-25  Player 3  33.155351  19.529361   99.201132
56 2021-08-26  Player 3  21.561071  13.919872   19.584945
57 2021-08-27  Player 3  21.030010 -15.227838   67.279885
58 2021-08-28  Player 3   5.028648  -6.847735   70.794531
59 2021-08-29  Player 2  35.603358 -11.656739   99.720992
'''

# split to two dataframes
sep_date = '2021-08-01'
first_half, second_half = [
    pd.DataFrame(f) for _, f in df.groupby(df['Date'] >= sep_date)]


print(first_half.head(), '\n', first_half.tail())

_ = '''
        Date    Player      Speed      Angle  Efficiency
0 2021-07-01  Player 5  19.424221  10.398202   26.556917
1 2021-07-02  Player 4  19.584696   6.788205   69.426798
2 2021-07-03  Player 1  99.390299  16.283226   81.342796
3 2021-07-04  Player 5  41.540630  -4.641508   32.071403
4 2021-07-05  Player 1  44.272788   6.083881   76.182775 

         Date    Player      Speed      Angle  Efficiency
26 2021-07-27  Player 3  66.456286   1.561090   31.683482
27 2021-07-28  Player 1   6.832737  14.446787   14.163490
28 2021-07-29  Player 1  51.565821 -19.700863   79.727559
29 2021-07-30  Player 2  85.230726  11.855018   35.503564
30 2021-07-31  Player 3  98.261812 -10.599585   72.857861
'''

print(second_half.head(), '\n', second_half.tail())

_ = '''
         Date    Player      Speed      Angle  Efficiency
31 2021-08-01  Player 3  58.559183  -7.192560   74.589404
32 2021-08-02  Player 5  41.987566 -14.270427   69.006067
33 2021-08-03  Player 3  42.610050 -15.104464   80.391799
34 2021-08-04  Player 3  90.539195   8.055154   87.525425
35 2021-08-05  Player 4   0.329127  18.792771   74.861874 

         Date    Player      Speed      Angle  Efficiency
55 2021-08-25  Player 3  33.155351  19.529361   99.201132
56 2021-08-26  Player 3  21.561071  13.919872   19.584945
57 2021-08-27  Player 3  21.030010 -15.227838   67.279885
58 2021-08-28  Player 3   5.028648  -6.847735   70.794531
59 2021-08-29  Player 2  35.603358 -11.656739   99.720992
'''

Comments

[8960]

ご回答いただきありがとうございます。
基本的には「データフレームを二つに分割する」という作業が必要のようですね。
参考にさせていただきました！

Answer 3

下記の例でいえば2021-08-01より前をfirst_half、以後をsecond_half

とありますが

"Date": pd.date_range(start='2021/4/1', periods=100, freq='D')

では、2021-08-01は含まれていないのではないでしょうか？

.groupby()や.agg()はよく使いますので理解できるのですが、特定の日付で区分という作業がどうにもできません。

特定の日付（2021-06-01）で区分する例です。

df_first_half = df[df['Date'] < '2021/6/1']    # or '2021-06-01'
df_second_half = df[df['Date'] >= '2021/6/1']  # or pd.Timestamp(2021, 6, 1)

Comments

[8960]

参考にさせていただきました。ありがとうございました！