pythonで日付の計算を行い、その結果から条件式を書きたい。

Question

前提・実現したいこと

Pythonで日付の差をとって、その差の値で条件分けをしたい。

発生している問題・エラーメッセージ

不連続な日データを1年分取り扱っています。ある日のデータとその1日前のデータの差をとりたいと思っているのですが、扱っているデータファイルが365日毎日のデータを持っているわけではなく虫食い状態のデータのため、普通に引き算をすると引き算の結果が日変化ではなく2～3日後の変化とかになってしまいます。
（例：2019年1月10日～1月20日のデータを使用するとしたとき、データが十分なら（2019年1月20日の値）ー（2019年1月19日の値）、（2019年1月19日の値）ー（2019年1月18日の値）、（2019年1月18日の値）ー（2019年1月17日の値）、…、（2019年1月11日の値）ー（2019年1月10日の値）のようにして一日ごとの変化を見ていきたいのですが、2019年1月13日と2019年1月18日のデータが欠損しており(2019年1月14日ー2019年1月12日＝2日、2019年1月19日ー2019年1月17日＝2日となってしまい）純粋な日変化を求められない。）

そこで、A-B＝1日（A,B:日付）となるかA-B≠1日で場合分けをして、差が1日の場合は値の引き算を行い、差が1日でない日は引き算をスキップするというものを組みたいと考えています。

該当のソースコード

mtori=pd.read_csv('mtori2019.csv',header=None,names='Date','x','y','z','lat','lon','Heighit'),index_col=[],parse_dates=True)
print(mtori)
mtori.dtypes

       Date            x            y  ...        lat         lon    Heighit

0 2019 01 01 -5227187.526 2551881.207 ... 24.290097 153.978651 35.626594
1 2019 01 02 -5227187.533 2551881.215 ... 24.290097 153.978651 35.638448
2 2019 01 03 -5227187.522 2551881.210 ... 24.290097 153.978651 35.627303
3 2019 01 04 -5227187.527 2551881.215 ... 24.290097 153.978651 35.637605
4 2019 01 05 -5227187.540 2551881.230 ... 24.290097 153.978650 35.658736
.. ... ... ... ... ... ... ...
358 2019 12 27 -5227187.477 2551881.232 ... 24.290097 153.978650 35.596742
359 2019 12 28 -5227187.456 2551881.227 ... 24.290097 153.978650 35.577415
360 2019 12 29 -5227187.466 2551881.231 ... 24.290097 153.978650 35.590249
361 2019 12 30 -5227187.458 2551881.228 ... 24.290097 153.978650 35.578464
362 2019 12 31 -5227187.449 2551881.237 ... 24.290097 153.978650 35.575801

[363 rows x 7 columns]

↑'Date'の引き算の結果から、'X','y'...の引き算を判定するコードを組みたいです。

試したこと

補足情報（FW/ツールのバージョンなど）

pythonを使用しています。

Answer 1

以下でできます。

1. Timestamp 型になっていなければ、to_datetime() で Timestamp 型にする
2. pandas.DataFrame.diff() で差分をとる
3. Timestamp 同士の差分は Timedelta 型になるので、pd.Timedelta("1D") かどうかを比較することで、差が1日かどうかを判定する。

import pandas as pd

df = pd.DataFrame(
    {
        "Date": [
            "20190102",
            "20190103",
            "20190105",
            "20190106",
            "20190107",
            "20190109",
            "20190112",
            "20190113",
        ],
        "Value": [1, 3, 2, 4, 5, 8, 9, 5],
    }
)
df["Date"] = pd.to_datetime(df["Date"])
print(df)

	Date	Value
0	2019-01-02 00:00:00	1
1	2019-01-03 00:00:00	3
2	2019-01-05 00:00:00	2
3	2019-01-06 00:00:00	4
4	2019-01-07 00:00:00	5
5	2019-01-09 00:00:00	8
6	2019-01-12 00:00:00	9
7	2019-01-13 00:00:00	5

diff = df.diff().shift(-1)
df["Diff"] = diff["Value"][diff["Date"] == pd.Timedelta("1D")]
print(df)

	Date	Value	Diff
0	2019-01-02 00:00:00	1	2
1	2019-01-03 00:00:00	3	nan
2	2019-01-05 00:00:00	2	2
3	2019-01-06 00:00:00	4	1
4	2019-01-07 00:00:00	5	nan
5	2019-01-09 00:00:00	8	nan
6	2019-01-12 00:00:00	9	-4
7	2019-01-13 00:00:00	5	nan

Comments

[high111]

ありがとうございます。