Pythonの日付・時刻データ(datetime型)の時刻部分（日付は無視）とある固定時刻の差を効率的に計算したい

Question

前提・実現したいこと

pythonでの日付・時刻に関する演算に関する質問です。
datetimeをdt、pandasをpdと書きます。

具体的には、dt.datetime型の値（年、月、日、時、分、秒）を持つpd.Seriesがあるとします。
それらの日付・時刻の値の時刻部分（時、分、秒）に対して、それらの時刻より遅いある決まった時刻（例えば、22時0分0秒）からの差分を計算し、秒単位で求めたいです。

一旦差分を算出できれば、.total_seconds()で秒換算すれば良いと思うのですが、効率的に差分を計算するやり方が分かりません。

試したこと

例えば、
endtime = (22,0,0)
date = pd.Seriesの日付データ
として forループで
tmp = dt.datetime.combine(date_[i], dt.time(*endtime)) - data[i]
などとdatetime型の差として計算する関数を作って計算してみましたが、非常に時間がかかるので途中で計算を中止させました。

以下のようにできれば楽なのですが、dt.datetimeはpd.Seriesを引数に取れないようです

dt.datetime(date.dt.year, date.dt.month, date.dt.day, *endtime) - date

（追記）
昨日は、時間がかかって途中でやめてしまったのですが、プログラムを一部修正して改めて実施したところ、一応、計算結果が出ました。

def remtime(data, date_column, endtime):
    """
    data: pd.DataFrameのデータ
    date_column: dataの中のdt.datetime型の値（年、月、日、時、分、秒）を持つカラム
    endtime: date_columnの時刻の値と比較したい固定した時刻（dt.time型）を作成するためのパラメータのタプル(時、分、秒)
    return: dataの中に、endtimeとdate_columnの差分を秒換算した値を持つ新しいカラム'ddelta'を加えて返す
    """
    date = data[date_column].dt.date
    data['ddelta'] = 0
    for i in range(data.shape[0]):
        tmp = dt.datetime.combine(date.iloc[i], dt.time(*endtime)) - data[date_column].iloc[i]
        data['ddelta'].iloc[i] = tmp.total_seconds()
    return data

行数390万件程度のデータで上記関数で計算させた際の計算時間は、以下の通りでした：
CPU times: user 1min 49s, sys: 1.89 s, total: 1min 51s
Wall time: 1min 49s

補足情報（FW/ツールのバージョンなど）

Comments

[y_waiwai]

ふつーにdatetime通しの差をもとめればいいかとおもいますが、
非常に時間がかかるというのはどんだけの時間がかかるんでしょう

[tkhk]

質問ありがとうございます。
昨日は数分間結果が返ってこなかったような気がしますが、プログラムを修正して改めて実施したところ、1分程度で返ってきました。行数390万件程度のデータです。
投稿した質問に、説明を補足し、新しく試したプログラムも追記させていただいきました。

Answer 1

最終的に欲しいのが秒とのことなので、シリーズの時刻部分を秒に変換して計算してしまうのもよいと思います。

endtime = (22, 0, 0)
endtime_sec = endtime[0] * 3600 + endtime[1] * 60 + endtime[2]

diff_sec = endtime_sec - (data.dt.hour * 3600 + data.dt.minute * 60 + data.dt.second)

Comments

[tkhk]

ありがとうございます。
投稿した質問に、説明を補足し、新しく試したプログラムも追記させていただいきました。
いただいたコード例も試してみます。後ほどまた追記します。

[tkhk]

いただいたコード例を参考に、以下の関数を実装しました：
def remtime2(data, date_column, endtime):
endtime_sec = endtime[0] * 3600 + endtime[1] * 60 + endtime[2]
diff_sec = endtime_sec - (data[date_column].dt.hour * 3600 + data[date_column].dt.minute * 60 + data[date_column].dt.second)
return diff_sec

こちらの関数は、質問に追記した関数に比べ、DataFrameの処理をしない、forループを使わない、秒換算差分の計算のみを返す、といった要因のせいと思いますが、結果がかなり早く返ってきます。以下は390万件ほどのデータに対する計算時間の結果です：
CPU times: user 154 ms, sys: 48 µs, total: 154 ms
Wall time: 147 ms

貴方のコメントをベストアンサーにさせていただきたいと思います。
ありがとうございました。

Answer 2

こういうことでしょうか……

In [11]: s = pd.Series(pd._testing.makeDateIndex() + pd._testing.makeTimedeltaIndex(freq='H'))

In [12]: s
Out[12]:
0   2000-01-04 00:00:00
1   2000-01-05 01:00:00
2   2000-01-06 02:00:00
3   2000-01-07 03:00:00
4   2000-01-08 04:00:00
5   2000-01-11 05:00:00
6   2000-01-12 06:00:00
7   2000-01-13 07:00:00
8   2000-01-14 08:00:00
9   2000-01-15 09:00:00
dtype: datetime64[ns]

In [13]: endtime = (22, 0, 0)
    ...: c = 24*60*60
    ...: (dt.datetime(2021, 1, 15, *endtime) - s).dt.total_seconds() % c
Out[13]:
0    79200.0
1    75600.0
2    72000.0
3    68400.0
4    64800.0
5    61200.0
6    57600.0
7    54000.0
8    50400.0
9    46800.0
dtype: float64

Comments

[tkhk]

回答ありがとうございます。
質問の説明が不十分で申し訳ありませんでした。
endtimeで指定する時刻も、差分を取る時系列の日付に応じて日付を変化させて、差分を取りたいと考えています。

質問の投稿に説明の補足や新しく試した内容について、追記させていただきました。

Answer 3

差分の秒数は以下のように求められます。

>>> a = dt.datetime(2021, 1, 15, 16, 15, 20)
>>> s =  (dt.timedelta(hours=22,minutes=0,seconds=0)-(a-dt.datetime.fromordinal(a.toordinal()))).seconds
>>> print(s)
20680

Comments

[tkhk]

ありがとうございます。
コード例が一見して分からないので、試して理解した後に改めて追記させていただきます。

[tkhk]

いただいたコメントを参考に以下の関数を作って計算させたのですが、2〜3分程度待っても終わらないので途中でやめてしまいました。しかし、1個のレコードについては、欲しい計算ができることを確認しています。ありがとうございました。

def remtime3(data, date_column, endtime):
endtime_ = dt.timedelta(hours=endtime[0], minutes=endtime[1], seconds=endtime[2])
data['ddelta'] = 0
for i in range(data.shape[0]):
ddelta = endtime_ - (data[date_column].iloc[i] - dt.datetime.fromordinal(data[date_column].iloc[i].toordinal()))
data['ddelta'].iloc[i] = ddelta.total_seconds
return data
（追記）
上記の当方作成コードは不具合があったようです。エラーが出ていました。