pandasによる時間の計算について

Question

前提・実現したいこと

webにて勤怠を管理しています。
出勤・退勤・残業時間がwebにて確認できます。
しかし、月単位のエクスポートが出来ずに困っていたところPythonでスクレイピングにて値を取得し
Excelと連携を検討しております。

出勤・退勤時間・残業時間については問題なく取得出来ているのですが
しかし、残業時間が00:30と表示されます。
これを0.5と表示しExcelにて保存したいです。

Excelに保存し起動させ該当のセルに*24をすると0.5と表示されます。
Python側にて処理を完結したい。

■■な機能を実装中に以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

特になし

該当のソースコード

z = []
for elem_a in driver.find_elements_by_xpath('//*[@id="attendance_detail"]/section/table/tbody/tr/td[15]'):
    z.append({
    "残業時間":elem_a.text
})

試したこと

df['残業時間'] = df['残業時間'] * 24

上記の計算をすると下記の様に表示されます。

0 02:3002:3002:3002:3002:3002:3002:3002:3002:300...
1
2 00:3000:3000:3000:3000:3000:3000:3000:3000:300...
3
4
5 00:3000:3000:3000:3000:3000:3000:3000:3000:300...
6 00:3000:3000:3000:3000:3000:3000:3000:3000:300...
7 00:3000:3000:3000:3000:3000:3000:3000:3000:300...

また、dtypesにて該当の属性を調べたら下記の様に表示されています。

残業時間 object

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

import pandas as pd
pd.set_option('display.unicode.east_asian_width', True)

df = pd.DataFrame({
      '日付': pd.date_range('2021-10-16', '2021-10-27', freq='D'),
  '残業時間': [
    '02:30', '', '00:30', '', '', '00:30', '00:30', '00:30', '', '', '', '',
  ]
})

df['残業時間'] = (
  df['残業時間'].str
    .extract(r'(\d{2}):(\d{2})')
    .fillna(0).astype(int)
    .apply(lambda x: x[0]+x[1]/60, axis=1))

#
         変換前                   変換後

         日付 残業時間            日付  残業時間
0  2021-10-16    02:30   0  2021-10-16       2.5
1  2021-10-17            1  2021-10-17       0.0
2  2021-10-18    00:30   2  2021-10-18       0.5
3  2021-10-19            3  2021-10-19       0.0
4  2021-10-20            4  2021-10-20       0.0
5  2021-10-21    00:30   5  2021-10-21       0.5
6  2021-10-22    00:30   6  2021-10-22       0.5
7  2021-10-23    00:30   7  2021-10-23       0.5
8  2021-10-24            8  2021-10-24       0.0
9  2021-10-25            9  2021-10-25       0.0
10 2021-10-26            10 2021-10-26       0.0
11 2021-10-27            11 2021-10-27       0.0

Answer 2

df['残業時間'] が文字列なので *24 すると、文字列が24回繰り返されたものになります。

'HH:MM' な文字列から数値に変換する関数を定義して、map(applyでもいいですが)すればいいと思います。

とりあえず動けばいいならこんな感じです。

def conv_zangyo(s):
    try:
        h, m = s.split(':')
        return int(h) + int(m) / 60
    except:
        return 0.0

df['残業時間'] = df['残業時間'].map(conv_zangyo)

Answer 3

webから取得したデータは文字列です。
従って、Pythonでは以下のようになります。

>>> print('02:30' * 24)
02:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:3002:30

元のデータフレームを前加工して'2021-10-21 8:18'のようにしておいて、pd.to_datetimeでdatetime型に変換すれば、やりたいことは簡単にできます。
変換は以下のようにやります。

>>> print(df)
                日時
0  2021-10-21 8:18
>>> print(df['日時'])
0    2021-10-21 8:18
Name: 日時, dtype: object
>>> pd.to_datetime(df['日時'])
0   2021-10-21 08:18:00
Name: 日時, dtype: datetime64[ns]

その他の処理も合わせてpandasで日付・時間の列を処理（文字列変換、年月日抽出など）に書かれているので、それを読んでやってみてください。

Comments

[user9801]

>元のデータフレームを前加工して'2021-10-21 8:18'のようにしておいて

こちらの加工の仕方が分からず困っております。
単純に日付と残業時間を結合してdatetimeをすれば出来ると思ったのですが"ParserError: Unknown string format:"がエラーが表示されます。
教えて頂いた"pandasで日付・時間の列を処理（文字列変換、年月日抽出など）"にて勉強をしようと思います。

[ppaul]

>>> print(df)
日付 出勤時間
0 2021-10-16(月) 8:1
1 2021-10-18(西) 17:55
>>> print(df['日付'].str[:-3] + ' ' + df['出勤時間'])
0 2021-10-16 8:1
1 2021-10-18 17:55
dtype: object
というようにやります。

[user9801]

助かりました。
1点確認になります。
str[:-3]ですがなぜ、strになるのかわかりません。
日付はobjectとなっています。
object=str型と言う認識でよろしいでしょうか。

[ppaul]

str[:-3]ではなく、df['日付'].str[:-3]です。これはstrアクセサ都よばれるものです。
https://note.nkmk.me/python-pandas-str-slice/ をお読みください。

[bsdfan]

質問者さんは、時刻ではなく時間の文字列を数値化したいとのことなので、pandas.to_datetime()を勧めるのは、ミスリーディングな解答に思えます。