padas dataframe 複数条件の入れ子について

Question

dataframeの扱いで、複数条件の抽出が上手くいきません。
開催日のみで絞り込んでから、それを新しいデータフレーム に入れて、その後、レース数で絞り込むという方法以外の方法があれば教えてください。（新しいデータフレームを作らない形でお願いします。）

対象のデータフレーム

開催日 レース
0 2017-01-28 1
0 2017-01-28 2
0 2017-01-28 3
0 2017-01-28 4
0 2017-01-28 5
0 2017-01-28 6
0 2017-01-28 7
0 2017-01-28 8
0 2017-01-28 9
0 2017-01-28 10
0 2017-01-28 11
0 2017-01-28 12
0 2017-01-29 1
0 2017-01-29 2
0 2017-01-29 3
0 2017-01-29 4
0 2017-01-29 5
0 2017-01-29 6
0 2017-01-29 7
0 2017-01-29 8
0 2017-01-29 9
0 2017-01-29 10
0 2017-01-29 11
0 2017-01-29 12
0 2017-01-30 1
0 2017-01-30 2
0 2017-01-30 3
0 2017-01-30 4
0 2017-01-30 5
0 2017-01-30 6
0 2017-01-30 7
0 2017-01-30 8
0 2017-01-30 9
0 2017-01-30 10
0 2017-01-30 11
0 2017-01-30 12

実現したいこと
上記のようなデータフレームにおいて、2017-01-28の５（レース）から2017-01-30の３（レース）までの行を抽出したい。

試したコード

df[[(df["開催日"]>="2017-01-28") &(df["レース"]>=2)]&[(df["開催日"]<="2017-01-30") & (df["レース"]<=5)]]

エラー

TypeError                                 Traceback (most recent call last)
<ipython-input-27-bc9d3402f15f> in <module>()
----> 1 new_df[[(day>="2017-01-28") &(race>=2)]&[(day<="2017-01-30") & (race<=5)]]
      2 #&new_df[(day<="2017-01-30") & (race<=5)]

TypeError: unsupported operand type(s) for &: 'list' and 'list'

Answer 1

まず最初に。

"開催日"列にて、日時データでの比較演算を行うのであれば、"開催日"列のデータは文字列(Object型)として扱うのではなく、datetime型 で扱いましょう。

その上で条件に会う行の検出は以下のように記述できます。

import datetime as dt
res = df[((dt.datetime(2017,1,28) == df["開催日"]) & (df["レース"] >= 2)) |
         ((dt.datetime(2017,1,29) == df["開催日"]) & (df["レース"] <= 5))]

"レース"列が datetime型 なのであれば単に日付だけの比較で

res = df[((df["開催日"].dt.day == 28) & (df["レース"] >= 2)) |
         ((df["開催日"].dt.day == 29) & (df["レース"] <= 5))]

でも良いかもしれません。

以下、動作サンプル

import datetime as dt
import pandas as pd

df = pd.DataFrame({
    "開催日" : ['2017-01-28'] * 12 + ['2017-01-29'] * 12 + ['2017-01-30'] * 12,
    "レース" : [1,2,3,4,5,6,7,8,9,10,11,12] * 3
    })
print(df)

df["開催日"] = pd.to_datetime(df["開催日"])

res = df[((dt.datetime(2017,1,28) == df["開催日"]) & (df["レース"] >= 2)) |
         ((dt.datetime(2017,1,29) == df["開催日"]) & (df["レース"] <= 5))]
print(res)
#    レース        開催日
#1     2 2017-01-28
#2     3 2017-01-28
#3     4 2017-01-28
#4     5 2017-01-28
#5     6 2017-01-28
#6     7 2017-01-28
#7     8 2017-01-28
#8     9 2017-01-28
#9    10 2017-01-28
#10   11 2017-01-28
#11   12 2017-01-28
#12    1 2017-01-29
#13    2 2017-01-29
#14    3 2017-01-29
#15    4 2017-01-29
#16    5 2017-01-29

Comments

[MitMc]

ご回答ありがとうございます。

申し訳ないのですが、質問を変更させていただきました。
１月２８日と１月２９日であれば、いただいたコードの通りなのですが、この期間が１月２８日〜３０日となった場合（実際はもっと長期の期間を想定しているのですが、teratailへの質問上、短い期間としてます）、
日が連続していないので、==で指定してしまうと２９日が抜けてしまいます。
しかし＞＝、＜＝で指定すると、求めている以上の日付が選択されてしまいます。この場合、どうしたら良いでしょうか？

[magichan]

単純に日付（"開催日"列）だけの絞込み、例えば、 『1/10 から 1/29 までの全レース』などの場合

df[(dt.datetime(2017,1,10) <= df["開催日"]) &
(dt.datetime(2017,1,29) >= df["開催日"])]

のように不等号を使っても全く問題ないと思います。

問題は"レース"列を含んで『1/10の4レース から 1/29の5レースまで』などの場合ですね・・
その場合は条件文を並べて

df[((dt.datetime(2017,1,10) == df["開催日"]) & (df["レース"] >= 4)) |
((dt.datetime(2017,1,11) <= df["開催日"]) & (dt.datetime(2017,1,28) >= df["開催日"])) |
((dt.datetime(2017,1,29) == df["開催日"]) & (df["レース"] <= 5))]

のように書くとよいのではないでしょうか

[KojiDoi]

MitMcさん
まさにそういう状況を考慮して私は「日付とレース番号を纏めたもの」をまず作って大小比較を試みるコードを書きました。
中日を考慮して複雑なand式を立てるよりシンプルだと思います。 試してみて頂きたい。

[MitMc]

magichan様
再度、教えていただき、ありがとうございます。
参考にいたします。

[MitMc]

KojiDoi様

頂いたコードを試したのですが、dataframeが空になり、上手くいきませんでした。
前提としてお話しすべきだったのですが、開催日は文字列ではなく、datetimeになっております。そのせいで上手くいかなかったのでしょうか？
再度、string型に直してみてから試そうと思うのですが、なかなか上手くいかず.... df["開催日"].string()では駄目でしょうか。

Answer 2

「実現したいこと」に書いてある条件はどう見ても矛盾しているので無視して、2017-01-28第2レースから2017-01-29第5レースまでを選択するコードを書いてみました。

df1[
  (df1.apply(lambda x: "{} {:02}".format(x["開催日"], x["レース"]), axis=1)>="2017-01-28 02") &
  (df1.apply(lambda x: "{} {:02}".format(x["開催日"], x["レース"]), axis=1)<="2017-01-29 05")
]

追記:　datetime型をサポートしうまくいったコード全体を示します。

#!/usr/bin/env python3
import pandas as pd
import io

df1 = pd.read_table(io.StringIO("""
開催日    レース
0    2017-01-28    1
0    2017-01-28    2
0    2017-01-28    3
0    2017-01-28    4
0    2017-01-28    5
0    2017-01-28    6
0    2017-01-28    7
0    2017-01-28    8
0    2017-01-28    9
0    2017-01-28    10
0    2017-01-28    11
0    2017-01-28    12
0    2017-01-29    1
0    2017-01-29    2
0    2017-01-29    3
0    2017-01-29    4
0    2017-01-29    5
0    2017-01-29    6
0    2017-01-29    7
0    2017-01-29    8
0    2017-01-29    9
0    2017-01-29    10
0    2017-01-29    11
0    2017-01-29    12
0    2017-01-30    1
0    2017-01-30    2
0    2017-01-30    3
0    2017-01-30    4
0    2017-01-30    5
0    2017-01-30    6
0    2017-01-30    7
0    2017-01-30    8
0    2017-01-30    9
0    2017-01-30    10
0    2017-01-30    11
0    2017-01-30    12
"""), delim_whitespace=True
)
df1["開催日"] = pd.to_datetime(df1["開催日"])

df2 = df1[
  (df1.apply(lambda x: "{} {:02}".format(x["開催日"], x["レース"]), axis=1)>="2017-01-28 00:00:00 02") &
  (df1.apply(lambda x: "{} {:02}".format(x["開催日"], x["レース"]), axis=1)<="2017-01-29 00:00:00 05")
]
print(df2)

Answer 3

start_df = new_df[(day=="2017-01-28") &(race>=2)]
end_df = new_df[(day=="2017-01-30") &(race<=5)]
middle_df = new_df[(day>"2017-01-28") &(day<"2017-01-30") ]

pd.concat([start_df, middle_df,end_df ])