pandasで特定の行ごとの平均をとり、時刻のみ指定してデータを抽出方法

Question

前提・実現したいこと

pandasのDateTimeIndex型のインデックスとなっているデータで、Aのデータのみ平均化を行った後、時刻のみ指定してデータを抽出方法があれば、ご教授頂きたいです。

A B
TIME
2019-01-15 00:00:00.400 10 200
2019-01-15 00:10:00.400 6 2051
2019-01-15 00:20:00.400 10 5
2019-01-15 00:30:00.400 2 123
2019-01-15 00:40:00.400 11 1234
2019-01-15 00:50:00.400 7 1342
2019-01-15 01:00:00.400 10 61234
2019-01-15 01:10:00.400 10 200
2019-01-15 01:20:00.400 6 2051
2019-01-15 01:30:00.400 10 5
2019-01-15 01:40:00.400 2 123
2019-01-15 01:50:00.400 11 1234
2019-01-15 02:00:00.400 7 1342
2019-01-15 02:10:00.400 10 6234
2019-01-15 02:20:00.400 10 13234
2019-01-15 02:30:00.400 10 6264
2019-01-15 02:40:00.400 10 6124
2019-01-15 02:50:00.400 10 6234

出てほしい結果

1行目は0時台10+6+10+2+11+7=46を平均した7.66666666667を、
2行目は1時台10+10+6+10+2+11=49を平均した8.16666666667を表示させたいです。
A B
TIME
2019-01-15 01:00:00.400 7.66666666667 61234
2019-01-15 02:00:00.400 8.16666666667 1342
###試したこと
meanで全体の平均を出す方法は分かったのですが、時刻のみ指定してで表示方法が分かりませんでした。

Answer 1

時系列データの集計にはresample()が便利です。
Aの"時"についての平均は以下のようになります。

df.A.resample('H').mean()

# TIME
# 2019-01-15 00:00:00    7.666667
# 2019-01-15 01:00:00    8.166667
# 2019-01-15 02:00:00    9.500000
# Freq: H, Name: A, dtype: float64

平均以外にも最大、最小などのほか、独自の集計も可能です。

https://pandas.pydata.org/pandas-docs/stable/user_guide/timeseries.html#resampling

Aは平均、Bは最初の値をとりたい場合は、

df.resample('H').aggregate({'A': 'mean', 'B': 'first'})

#                             A      B
# TIME                                
# 2019-01-15 00:00:00  7.666667    200
# 2019-01-15 01:00:00  8.166667  61234
# 2019-01-15 02:00:00  9.500000   1342

もとの時刻も残したい場合はこんな感じで。

(df.reset_index()
   .resample('H', on='TIME')
   .aggregate({'TIME': 'first', 'A': 'mean', 'B': 'first'})
   .set_index('TIME'))

#                                 A      B
# TIME                                    
# 2019-01-15 00:00:00.400  7.666667    200
# 2019-01-15 01:00:00.400  8.166667  61234
# 2019-01-15 02:00:00.400  9.500000   1342

Comments

[fox_cat]

前回に引き続き回答ありがとうございます。
実行してみたところ無事動作しました。
最初の場合はfirstだと分かったのですが、最後の場合はどのようにすればいいのでしょうか？

[bsdfan]

last でできます。

[fox_cat]

ありがとうございます。
無事表示できました！

Answer 2

.groupby() の出番ですね。

時刻ごと、とのことなので時刻でグルーピングして平均化すれば良いと思います。

期待されている結果をみる限りA列はもとの DataFrame の0時代の値の平均を使ってますが B列と index は 01:00:00 の行の値を使う(1時間ずれている)ということだと仮定して計算してみました。

import pandas as pd
df = pd.read_csv('data.csv', index_col=0)  # データを読み込む
df2 = df.reset_index()

#                       TIME   A     B
# 0  2019-01-15 00:00:00.400  10   200
# 1  2019-01-15 00:10:00.400   6  2051
# 2  2019-01-15 00:20:00.400  10     5
# 3  2019-01-15 00:30:00.400   2   123
# 4  2019-01-15 00:40:00.400  11  1234

# 時刻の列を作る
df2['HOUR'] = df2['TIME'].apply(lambda x: x[11:13]).astype(int)

#                       TIME   A     B  HOUR
# 0  2019-01-15 00:00:00.400  10   200     0
# 1  2019-01-15 00:10:00.400   6  2051     0
# 2  2019-01-15 00:20:00.400  10     5     0
# 3  2019-01-15 00:30:00.400   2   123     0
# 4  2019-01-15 00:40:00.400  11  1234     0

group = df2.groupby('HOUR')

# A の時刻ごとの平均の計算
group_a = group.mean()['A']

# HOUR
# 0    7.666667
# 1    8.166667
# 2    9.500000
# Name: A, dtype: float64

# TIME 列、 B 列の先頭を取る
group_b = group.first().drop('A', axis=1)

#                          TIME      B
# HOUR                                
# 0     2019-01-15 00:00:00.400    200
# 1     2019-01-15 01:00:00.400  61234
# 2     2019-01-15 02:00:00.400   1342
# 期待する形にconcat するためにわざと index をずらす
group_b.index = [x - 1 for x in group_b.index]

# 結合
out = pd.concat([group_a, group_b], axis=1)[['TIME', 'A', 'B']].dropna() # index をずらした分 NaN が現れるので drop

# 列をインデックスに戻すのと型の修正
out.index = out['TIME']
out = out.drop('TIME', axis=1)
out['B'] = out['B'].astype(int)

print(out)
#                                 A      B
# TIME                                    
# 2019-01-15 01:00:00.400  7.666667  61234
# 2019-01-15 02:00:00.400  8.166667   1342

ちょっとデータフレームを整形するために色々トリッキーなことしてますが、あんまり関係ないです。
時刻の列を作って、groupby メソッドを使い、グルーピングした結果に対し計算を施すのがこの課題のキモだと思います。

Comments

[fox_cat]

# 時刻の列を作る
df2['HOUR'] = df2['TIME'].apply(lambda x: x[11:13]).astype(int)
この部分のlambda以降が分からないのですが、どのようなことを行っているのでしょうか？

[515hikaru]

`2019-01-15 00:00:00.400` をただの文字列だと思うと、11文字目と12文字目が時間を表しています。(0時とか1時とか11時とか)それだけ取り出す処理が lambda の中身です。

真面目にやるなら下記のリンクのように datetime 型を使って時間を取得するほうが良いのですが、これを書いているときはそこまで気が回っていなかったようです。。

https://note.nkmk.me/python-pandas-datetime-timestamp/