DataFrameの中から指定した範囲の日時を取り出したい

Question

DataFrameの中から指定した範囲の日時を取り出したい。
data変数に、

NAME AGE            DATETIME  
Tom   36  2012-01-01 03:19:38   
Bob   29  2015-12-16 17:32:40
・
・
・
John  65  2014-11-21 04:16:37

という風にDataFrame型のデータが入っている。

start = "2010-05-27 13:46:27"
end = "2014-03-28 07:14:18"

と今start・end変数に文字列で日時が入っている。
start変数〜end変数の日時の間でdata変数のDATETIME カラムの中身を古いもの順に並び替えたい。
理想のアウトプットは、

NAME AGE            DATETIME  
Lucy   13  2010-06-01 04:38:49   
Kei   53  2010-08-23 17:17:24
・
・
・
Emma  47  2014-03-25 09:39:59

のように出すことである。

np.sort(data, order=['DATETIME'])

とコードを書いてDATETIMEごとにsortしようとしたがstart変数〜end変数の日時の間をどうやって絞ればいいかわからなかった。
どのようにコードを書けばそれが実現できるか？

Answer 1

とりあえず値の型はおいといて、絞ってsortするコード例です。

import pandas as pd
import numpy as np
df = pd.DataFrame(np.arange(20)[::-1].reshape(10,2))
print(df)
"""
    0   1
0  19  18
1  17  16
2  15  14
3  13  12
4  11  10
5   9   8
6   7   6
7   5   4
8   3   2
9   1   0
"""
df = df[(df[1] > 5) & (df[1] < 10)].sort_values(1).reset_index(drop=True)
print(df)
"""
   0  1
0  7  6
1  9  8
"""

Comments

[hayataka2049]

そういえばSeriesの論理積は&でしたね・・・
5 < df[1]< 10とか(5 < df[1]) and (df[1] < 10)とか試してダメだったので諦めてapplyで書いちゃいました

[can110]

and が×で & が○というのは分かりにくい。。。けど、つい違う回答したくなる(^^;
「～.apply(lambda～」のほうが汎用性あってよいと思います～

Answer 2

Datetime を扱うというのであれば、Indexに設定して df[start:end] のように処理するという方法もありかと思います。

import pandas as pd
import io

# 適当に生成したデータ
data = io.StringIO("""NAME,SEX,DATETIME,AGE
DoiTadao,M,2009/04/26 10:14,49
KawadaToshio,M,2012/01/14 10:29,23
HamaguchiBunichi,M,2013/08/29 10:33,54
TakedaShizue,F,2008/11/13 10:42,39
SudaMana,F,2015/06/26 10:01,54
DoiYasuo,M,2013/05/19 10:00,44
YatsutaMasahiro,M,2011/08/04 10:55,47
MorishitaKaoru,F,2016/12/15 10:44,45
YazakiToshiaki,M,2015/09/21 10:34,23
OonukiHonoka,F,2014/04/19 10:00,43
""")
df = pd.read_csv(data, parse_dates=['DATETIME'])

# 'DATETIME'列をIndexにしてソートする
df = df.set_index('DATETIME').sort_index()

start = "2012-01-14 10:30:00"
end = "2015-06-26 10:00:00"

# 範囲指定が楽
print(df[start:end])
#                                 NAME SEX  AGE
#DATETIME
#2013-05-19 10:00:00          DoiYasuo   M   44
#2013-08-29 10:33:00  HamaguchiBunichi   M   54
#2014-04-19 10:00:00      OonukiHonoka   F   43

# 必用であれば reset_index()でIndex指定をやめる
print(df[start:end].reset_index())
#             DATETIME              NAME SEX  AGE
#0 2013-05-19 10:00:00          DoiYasuo   M   44
#1 2013-08-29 10:33:00  HamaguchiBunichi   M   54
#2 2014-04-19 10:00:00      OonukiHonoka   F   43

Answer 3

とりあえず、こんな感じでできませんか。

>>> import pandas as pd
>>> import numpy as np
>>> df = pd.DataFrame(np.arange(20).reshape(10,2))
>>> df
    0   1
0   0   1
1   2   3
2   4   5
3   6   7
4   8   9
5  10  11
6  12  13
7  14  15
8  16  17
9  18  19
>>> df[df[1].apply(lambda x: 5 < x < 10)]
   0  1
3  6  7
4  8  9