【Python】1分単位で記録された1年分の時系列データを週ごとに分割し出力したい

Question

前提

・言語:Python3系
・開発環境:Anaconda
・IDE:Spyder
でデータ分析を行っています。

〇扱うデータの詳細
・1分単位で記録された時系列データ（「2021-12-12　15：59」のような形で記録）
・1年分のデータが一つのファイルに保存されている
・各列ごとに温度などの項目が測定されている

###データの概形
DATE 　 　 Tempreture1 Tempreture2 SysStatus
2020/5/1 0:00:00 　　 18.75 17.91 0
2020/5/1 0:01:00 　　 18.76 17.90 0
2020/5/1 0:02:00 　　 18.76 17.91 0
2020/5/1 0:03:00 　　 18.76 17.90 0
2020/5/1 0:04:00 　　 18.77 17.91 1
2020/5/1 0:05:00 　　 18.75 17.90 1
・
・
・

###実現したいこと

①（必須）上記のような形式の1年分の時系列データを週ごとに分割し、それぞれの週でcsvファイルとして出力したい。
②（可能であれば）週ごとのデータは日曜日から月曜日のデータを一週間として分割したい。

発生している問題・エラーメッセージ

問題が発生しているというよりは、あれこれ調べてみても週ごとの合計値などの集計方法（resampleメソッドなど）のみが取り上げられており、有効な方法が思いつかないため、ご助力いただきたいと考えています。

Comments

[melian]

DATE と TIME は別々の列なのでしょうか？

[heisan]

ありがとうございます。
情報が曖昧で申し訳ございません。実際のデータでは別々の列なのですが、ご回答いただく際には1列の時系列データとして認識していただいて問題ありません。
曖昧さ回避のため、1列に修正します。

[tatsu99]

①データは日付／時刻の昇順に並んでいる前提で良いのでしょうか。

②出力形式は
DATE,Tempreture1,Tempreture2,SysStatus
2020/5/1 0:00:00,18.75,17.91,0
2020/5/1 0:01:00,18.76,17.90,0
ですか。
それとも以下のようにDATEとTIMEは別項目ですか。
DATE,TIME,Tempreture1,Tempreture2,SysStatus
2020/5/1,0:00:00,18.75,17.91,0
2020/5/1,0:01:00,18.76,17.90,0

③出力ファイル名は
data1.csv
data2.csv
のように連番でよいですか。
それとも、何かこうしたいというものがあるのでしょうか。
（ファイル名に最初の日付／時刻を組み込みたい等）

[heisan]

ありがとうございます。
本件に関しては、別の方のご回答で解説いたしましたので、閉めさせていただきます。
別の機会があればまたよろしくお願いいたします。

Answer 1

df['DATE']のdtypeがdatetime64[ns]型なら以下でできます。
df['DATE']のdtypeがstrの場合は、to_datetimeを使ってdatetime64[ns]型に変換しておいてください。

df['YEAR_WEEK'] = df['DATE'].dt.strftime('%Y_%U')
year_weeks = sorted(list(set(df['YEAR_WEEK'])))
for yw in year_weeks:
    df[df['YEAR_WEEK']==yw].iloc[:,:4].to_csv(yw + '.csv', index_col=0)

Comments

[heisan]

ご回答ありがとうございました。申し訳ありませんが、今回はより回答の早かった方をベストアンサーとさせていただきました。
また機会があればよろしくお願いいたします。

Answer 2

pandas.Grouperを使って一週間単位でグループ化すればできそうです。

for dt, dfs in df.groupby(pd.Grouper(key='date', freq='W-Sun')):
    dfs.to_csv(dt.strftime('%Y%m%d.csv'), index=False)

上記でdtは、週の最後の日になっているので、その日付をcsvのファイル名にしています。

freq='W-Sun'だと、月曜日始まりの日曜日終わりです。
日曜日始まりの土曜日終わりだとfreq='W-Sat'になります。

Comments

[heisan]

ご回答ありがとうございました。申し訳ありませんが、今回はより回答の早かった方をベストアンサーとさせていただきました。
また機会があればよろしくお願いいたします。

Answer 3

1分刻みで1年分のデータ(2020/5/1 00:00:00 - 2021/4/30 23:59:00)を適当に作成して試してみました。出力する CSV ファイルの名前は「{日曜日の日付}_{次の土曜日の日付}.csv」にしています。2020/5/1 は金曜日ですので、最初の CSV ファイルは "2020-05-01_2020-05-02.csv" になります。

import pandas as pd
import numpy as np
from numpy.random import default_rng

pd.options.display.float_format="{:.2f}".format

# dataframe for testing
rg = default_rng()
N = 365 * 24 * 60
df = pd.DataFrame({
         'DATE': pd.date_range(start='2020/5/1', periods=N, freq='min'),
  'Tempreture1': rg.uniform(10.0, 25.0, N),
  'Tempreture2': rg.uniform(10.0, 25.0, N),
    'SysStatus': rg.integers(0, 2, N),
})

# 毎週日曜日 00:00:00 で分割
import datetime
split_points = (
  (df['DATE'].dt.weekday == 6) &
  (df['DATE'].dt.time == datetime.time(0, 0))).cumsum()

df_list = [dfs for _, dfs in df.groupby(split_points)]

# save to CSV files
for dfs in df_list:
  begin = dfs['DATE'].min().date()
  end = dfs['DATE'].max().date()
  dfs.to_csv(f'{begin}_{end}.csv', index=False)

Comments

[heisan]

ご回答ありがとうございます。とても分かりやすい回答でもっともはやくご回答いただけたためベストアンサーとさせていただきました。
改めてありがとうございました！

Answer 4

まずは１日ごとの集計のコードを書いてみましょう
それはできるでしょうか。

それがきちんとできたなら、
あとはそれを週ごとにまとめてしまうだけ、となります。

Comments

[heisan]

ご回答ありがとうございます。
y_waiwai様が仰られているのは、数値の合計や平均をするというお話なのでしょうか？
私が行いたいのは、1分単位のデータのまま年次のデータを週次に分割したいということなのですが、もし私と同じ意味でお話しされているのであれば、もう少し詳細に教えていただくことは可能でしょうか？