質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
NumPy

NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

解決済

1回答

2941閲覧

行ごとに複数行の処理の結果を求めたいです

退会済みユーザー

退会済みユーザー

総合スコア0

NumPy

NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2018/12/21 08:03

編集2018/12/21 08:08

1行ごとに直近時間内における処理を求めたいのですが、いくつか試したコードのどれもが処理に時間がかかってしまい困っています。

用いるデータ

ここでは例ですが、実際は何万行ものデータです。

df = pd.DataFrame([['2018-12-01 00:00:00', 2], ['2018-12-01 00:00:00', 5], ['2018-12-01 00:01:00', 0], ['2018-12-01 00:03:00', 2], ['2018-12-01 00:08:00', 1], ['2018-12-01 00:08:00', 7], ['2018-12-01 00:09:00', 2], ['2018-12-01 00:015:00', 2]], columns=['time', 'num']) df['time'] = pd.to_datetime(df['time']) df
timenum
02018-12-01 00:00:002
12018-12-01 00:00:005
22018-12-01 00:00:010
32018-12-01 00:00:032
42018-12-01 00:00:081
52018-12-01 00:00:087
62018-12-01 00:00:092
72018-12-01 00:00:152

試したコード

1行ずつに対して直近5分間の合計を求めてみます。下で4つのパターンを試してみました。

import datetime import numpy as np import pandas as pd
# パターン1 def func1(i): shifted_time = df['time'][i] - datetime.timedelta(minutes=5) for k, v in enumerate(df['time']): if shifted_time < v: break return sum(df['num'][k: i+1]) df.index.to_series().apply(func1)
# パターン2 time_arr = np.array(df['time']) def func2(i): shifted_time = np.datetime64(pd.to_datetime(str(time_arr[i])) - datetime.timedelta(minutes=5)) index = np.where(shifted_time < time_arr)[0][0] return sum(df['num'][index: i+1]) df.index.to_series().apply(func2)
# パターン3 def func3(i): return df['num'][(df['time'][i] - datetime.timedelta(minutes=5) < df['time']) \ & (df['time']<= df['time'][i])].sum() df.index.to_series().apply(func3)
# パターン4 # timeカラムをindexにする df.index = df['time'] y = [] def func4(): for i, sr in df.iterrows(): y.append(df['num'][(i - pd.offsets.Minute(5) < df.index) & (df.index<= i)].sum()) return y ret = func4() ret

パターン1, 2が求めたい結果です。パターン3, 4は処理する行のindexよりも大きいindexを含んでしまっているため求めたい答えと結果が異なっています。
問題は試した全てのパターンで数万行のデータに適用すると、処理結果が遅いことです。
どのようにすれば処理速度が向上するでしょうか?

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

DataFrame.rolling() をお使いください

Python

1import pandas as pd 2 3df = pd.DataFrame([['2018-12-01 00:00:00', 2], 4 ['2018-12-01 00:00:00', 5], 5 ['2018-12-01 00:01:00', 0], 6 ['2018-12-01 00:03:00', 2], 7 ['2018-12-01 00:08:00', 1], 8 ['2018-12-01 00:08:00', 7], 9 ['2018-12-01 00:09:00', 2], 10 ['2018-12-01 00:015:00', 2]], 11 columns=['time', 'num']) 12df['time'] = pd.to_datetime(df['time']) 13 14 15ret = df.rolling('5min', on='time').sum() 16# time num 17#0 2018-12-01 00:00:00 2.0 18#1 2018-12-01 00:00:00 7.0 19#2 2018-12-01 00:01:00 7.0 20#3 2018-12-01 00:03:00 9.0 21#4 2018-12-01 00:08:00 1.0 22#5 2018-12-01 00:08:00 8.0 23#6 2018-12-01 00:09:00 10.0 24#7 2018-12-01 00:15:00 2.0

投稿2018/12/21 09:01

magichan

総合スコア15898

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2018/12/21 11:29

回答有り難うございます。おかげさまで解決することができましたm(_ _)m
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問