pythonで週単位、月単位の指定期間内に出現した数をカウントする方法を教えてください!

Question

下記は入力部であるdatesが与えられたとき、to_period()を用いて週単位、月単位の期間指定の範囲で出現数をカウントします。

#   dates
0   2020-01-07 12:03:24+00:00
1   2020-01-10 06:50:11+00:00
2   2020-01-14 12:09:12+00:00
3   2020-01-21 11:32:37+00:00
4   2020-02-05 13:04:53+00:00
5   2020-02-15 12:36:20+00:00
6   2020-03-05 12:45:47+00:00
7   2020-03-28 04:28:11+00:00
8   2020-04-14 11:15:31+00:00
9   2020-04-25 13:12:17+00:00

def count_period(dates):
    dates = pd.Series(index=dates)
    months = dates.to_period("M").index
    months = months.value_counts().sort_index()
    weeks = dates.to_period("W").index
    weeks = weeks.value_counts().sort_index()
    return weeks, months

(weeks, months) = count_period(dates)
print(weeks)
print(months)

#weeks
2020-01-06/2020-01-12    2
2020-01-13/2020-01-19    1
2020-01-20/2020-01-26    1
2020-02-03/2020-02-09    1
2020-02-10/2020-02-16    1
2020-03-02/2020-03-08    1
2020-03-23/2020-03-29    1
2020-04-13/2020-04-19    1
2020-04-20/2020-04-26    1

#months
2020-01    4
2020-02    2
2020-03    2
2020-04    2

しかし、この実装ですと、2020-01-272020-02-02や2020-02-172020-03-01などでカウント数:0の情報が抜けてしまいます。
また、日付が2020-04-20/2020-04-26までで止まっており、それ以降~現在(先週の日曜)までの週単位、月単位の情報(カウント数:0)が漏れないようにしたいです。

最終的には下記のような結果を望みます。

#weeks
2020-01-06/2020-01-12    2
2020-01-13/2020-01-19    1
2020-01-20/2020-01-26    1
2020-01-27/2020-02-02    0
2020-02-03/2020-02-09    1
2020-02-10/2020-02-16    1
2020-02-17/2020-02-23    0
2020-02-24/2020-03-01    0
2020-03-02/2020-03-08    1
2020-03-09/2020-03-15    0
2020-03-16/2020-03-22    0
       ・・・
2020-08-31/2020-09-06    0
2020-09-07/2020-09-13    0

#months
2020-01    4
2020-02    2
2020-03    2
2020-04    2
2020-05    0
2020-06    0
2020-07    0
2020-08    0

ご教授お待ちしております！

Answer 1

ほとんどできているので、最後に追加でreindexしてやれば希望のデータが得られます。

today = pd.Timestamp.now()
weeks = weeks.reindex(
    pd.period_range(weeks.index[0], today, freq=weeks.index.freq),
    fill_value=0)
months = months.reindex(
    pd.period_range(months.index[0], today, freq=months.index.freq),
    fill_value=0)

Comments

[taiki9121]

ありがとうございます！
助かりました

Answer 2

以下のようにヒストグラムを作成する問題として考えればよいと思います。

1. 一番最初の日付の週の最初の日を取得する。
2. 一番最後の日付の週の最後の日を取得する
3. pd.date_range() でその範囲で1周間ごとでビンを作成する。
4. pd.cut() でビン分割処理する。

import pandas as pd

dates = pd.to_datetime(
    [
        "2020-01-07 12:03:24+00:00",
        "2020-01-10 06:50:11+00:00",
        "2020-01-14 12:09:12+00:00",
        "2020-01-21 11:32:37+00:00",
        "2020-02-05 13:04:53+00:00",
        "2020-02-15 12:36:20+00:00",
        "2020-03-05 12:45:47+00:00",
        "2020-03-28 04:28:11+00:00",
        "2020-04-14 11:15:31+00:00",
        "2020-04-25 13:12:17+00:00",
    ]
)


def count(dates):
    first = dates.sort_values()[0]  # 最初の日
    last = pd.Timestamp.now(dates.tz)  # 同じタイムゾーンで今日の日付取得

    # 日付 - 週の最初から数えた日数 = 週の最初の日 (月曜=0の場合)
    begin = first - pd.to_timedelta(first.dayofweek, unit="d")
    # 一番最後の日付の週の最後の日を取得する。
    end = last + (pd.to_timedelta("6days") - pd.to_timedelta(last.dayofweek, unit="d"))
    # ビンを作成
    weeks = pd.date_range(begin.floor("D"), end.floor("D"), freq="W-MON")
    # ビン分割処理
    ret = pd.cut(dates, weeks, right=False, include_lowest=False)

    return ret.value_counts()


ret = count(dates)
print(ret)

[2020-01-06, 2020-01-13)    2
[2020-01-13, 2020-01-20)    1
[2020-01-20, 2020-01-27)    1
[2020-01-27, 2020-02-03)    0
[2020-02-03, 2020-02-10)    1
[2020-02-10, 2020-02-17)    1
[2020-02-17, 2020-02-24)    0
[2020-02-24, 2020-03-02)    0
[2020-03-02, 2020-03-09)    1
[2020-03-09, 2020-03-16)    0
[2020-03-16, 2020-03-23)    0
[2020-03-23, 2020-03-30)    1
[2020-03-30, 2020-04-06)    0
[2020-04-06, 2020-04-13)    0
[2020-04-13, 2020-04-20)    1
[2020-04-20, 2020-04-27)    1
[2020-04-27, 2020-05-04)    0
[2020-05-04, 2020-05-11)    0
[2020-05-11, 2020-05-18)    0
[2020-05-18, 2020-05-25)    0
[2020-05-25, 2020-06-01)    0
[2020-06-01, 2020-06-08)    0
[2020-06-08, 2020-06-15)    0
[2020-06-15, 2020-06-22)    0
[2020-06-22, 2020-06-29)    0
[2020-06-29, 2020-07-06)    0
[2020-07-06, 2020-07-13)    0
[2020-07-13, 2020-07-20)    0
[2020-07-20, 2020-07-27)    0
[2020-07-27, 2020-08-03)    0
[2020-08-03, 2020-08-10)    0
[2020-08-10, 2020-08-17)    0
[2020-08-17, 2020-08-24)    0
[2020-08-24, 2020-08-31)    0
[2020-08-31, 2020-09-07)    0
[2020-09-07, 2020-09-14)    0
[2020-09-14, 2020-09-21)    0
dtype: int64

※ [2020-09-07, 2020-09-14) の場合、左半開区間なので、2020-09-07, 2020-09-13 を意味します。

pandas - 日時や期間の情報を取得する dt accessor の使い方
pandas - cut、qcut でビン分割を行う方法

Comments

[taiki9121]

ありがとうございます！