【Python】csvファイルを加工して5分おきのデータを0埋めしたいです。

Question

実現したいこと

5分置きのデータを0埋めしたいです。

前提

現在以下のようなcsvファイルがあります。
A,Time,num
"A",2023-02-15 23:55:00,1
"A",2023-02-15 23:50:00,2
"A",2023-02-15 23:40:00,3
"A",2023-02-15 23:30:00,2
"A",2023-02-15 23:25:00,1
"A",2023-02-15 23:10:00,1
"A",2023-02-15 23:00:00,4
"A",2023-02-15 22:55:00,2
"A",2023-02-15 22:45:00,1

csvの中身として、Timeは5分おきに記録され、numが0でなければ数が記録され、0ならその時間は飛ばされるようになっています。
このデータを成形し、numが0のデータも作成したいです。
上に掲載したcsvは最終的に以下のような形にしたいです。
A,Time,num
"A",2023-02-15 23:55:00,1
"A",2023-02-15 23:50:00,2
"A",2023-02-15 23:45:00,0
"A",2023-02-15 23:40:00,3
"A",2023-02-15 23:35:00,0
"A",2023-02-15 23:30:00,2
"A",2023-02-15 23:25:00,1
"A",2023-02-15 23:20:00,0
"A",2023-02-15 23:15:00,0
"A",2023-02-15 23:10:00,1
"A",2023-02-15 23:05:00,0
"A",2023-02-15 23:00:00,4
"A",2023-02-15 22:55:00,2
"A",2023-02-15 23:50:00,0
"A",2023-02-15 22:45:00,1

また、Timeの期間が若干複雑で連続にはなっていないです。
記録があるのは1/13～1/15,2/13～2/15となっており、間の1/16～2/12は無視したいです(この期間の0埋めは不要)。
注文が多いですが、よろしくお願い致します。

該当のソースコード

以下のコードを試してみたりしたのですが、解決には至りませんでした。

import datetime

date1 = datetime.datetime(year=2022, month=1, day=13, hour=00, minute=0)
date2 = datetime.datetime(year=2022, month=1, day=15, hour=23, minute=55)
delta = datetime.timedelta(minutes=5)

while date1 < date2:
    print(date1)
    date1 = date1 + delta

Answer 1

1/13の0:00:00～1/15の23:55:00・2/13の0:00:00～2/15の23:55:00と、この期間内であれば全ての時間帯での5分おきのデータを作成したい

import pandas as pd
from datetime import timedelta

df = pd.read_csv('data.csv', parse_dates=['Time'])
cols = df.columns

# 1/13 0:00:00～1/15 23:55:00 と 2/13 0:00:00～2/15 23:55:00 のインデックス(5分毎)を作成
first_day, last_day = df['Time'].min().date(), df['Time'].max().date() + timedelta(days=1)
time_idx = pd.date_range(first_day, '2023-01-16', freq='5min', inclusive='left')
time_idx = time_idx.union(pd.date_range('2023-02-15', last_day, freq='5min', inclusive='left'))

# reset datetime index
dfx = df.set_index('Time').reindex(time_idx).rename_axis('Time').reset_index()[cols]

# fullfill NaN
dfx['A'] = dfx['A'].fillna('A').map('"{}"'.format)
dfx['num'] = dfx['num'].fillna(0, downcast='infer')

# save to CSV file
dfx.to_csv('filled_data.csv', index=False, quoting=3)

Comments

[Sarada]

回答有り難うございます。

追加でもう二つ質問させてください。
1つ目：Timeを昇順に並べ替えようと思い、melianさんが書いてくださったコードの10行目、11行目の間に
dfx = dfx.sort_values(Time)と書いたのですがこれで問題ありませんよね？

2つ目：データの記録があるのは1/13～1/15,2/13～2/15の6日間なんですが、一番初めのデータの記録は1/13の2:20:00というデータです。
1/13の0:00:00～1/15の23:55:00・2/13の0:00:00～2/15の23:55:00と、この期間内であれば全ての時間帯での5分おきのデータを作成したいのですが、これはどうすればよいでしょうか…？
質問が多くて大変申し訳ありません、是非とも回答よろしくお願い致します。

[melian]

> 1つ目
はい、それで構いませんが、

dfx = df.set_index('Time').resample('5min').last().iloc[::-1].reset_index()

の、.iloc[::-1] を削る方がよいかと思います。resample の時点で昇順にソートされていますので。

dfx = df.set_index('Time').resample('5min').last().reset_index()

2つ目については回答を修正しますので、しばらくお待ち下さい。

[Sarada]

ありがとうございます。
宜しくお願い致します。

[melian]

修正しました。お試し下さい。

[Sarada]

回答ありがとうございました。
本当に助かりました。
無事作成できました。

念のための確認ですが、melianさんに書いていただいたコードの10行目の「'2023-02-15'」の部分ですが、ここは'2023-02-13'にすれば問題ありませんよね？

[melian]

ああ、ごめんなさい、おっしゃる通り 2023-02-13 です。

[Sarada]

ありがとうございます。

Answer 2

pandasを使います。
date_rangeで対象期間の0データ行を生成して元のデータと結合するとよいです。

import pandas as pd
from io import StringIO

s = """A,Time,num
"A",2023-02-15 23:55:00,1
"A",2023-02-15 23:50:00,2
"A",2023-02-15 23:40:00,3
"A",2023-02-15 23:30:00,2
"A",2023-02-15 23:25:00,1
"A",2023-02-15 23:10:00,1
"A",2023-02-15 23:00:00,4
"A",2023-02-15 22:55:00,2
"A",2023-02-15 22:45:00,1"""
df = pd.read_csv(StringIO(s), parse_dates=['Time'])

# 対象期間。右端（終了）部分は含まない
d1 = pd.date_range('2023-01-13', '2023-01-16', freq='5min', inclusive='left')
d2 = pd.date_range('2023-02-13', '2023-02-16', freq='5min', inclusive='left')
dt = pd.Series(d1.append(d2), name='Time')

# 対象期間と結合。NaNは適切な初期値をセット
df = df.merge(dt, on='Time', how='right', suffixes=['', '_y'])
df['A'] = df['A'].fillna('A')
df['num'] = df['num'].fillna(0).astype(int)

# Timeの降順に
df = df.sort_values(['Time'], ascending=False)

print(df.head(15)
df.to_csv('ret.csv', index=False)
"""
      A                Time  num
1727  A 2023-02-15 23:55:00    1
1726  A 2023-02-15 23:50:00    2
1725  A 2023-02-15 23:45:00    0
1724  A 2023-02-15 23:40:00    3
1723  A 2023-02-15 23:35:00    0
1722  A 2023-02-15 23:30:00    2
1721  A 2023-02-15 23:25:00    1
1720  A 2023-02-15 23:20:00    0
1719  A 2023-02-15 23:15:00    0
1718  A 2023-02-15 23:10:00    1
1717  A 2023-02-15 23:05:00    0
1716  A 2023-02-15 23:00:00    4
1715  A 2023-02-15 22:55:00    2
1714  A 2023-02-15 22:50:00    0
1713  A 2023-02-15 22:45:00    1)
"""