Pandasで日付と時刻を結合しdatetime型にしたい

Question

早明浦ダムのリアルタイムダム諸量一覧表のCSVを読み込んでグラフ化したいのですが
年月日と時刻を結合してdatetime型にしたいのですがうまくいきません。

日付だけだと
parse_dates=['年月日']
でdatetime型になるのですが

年月日と時刻を結合すると
parse_dates={'日時':['年月日', '時刻']}
objectになります。

どのようにすればdatetime型になるのでしょうか？

import pandas as pd

import requests
from urllib.parse import urljoin
from bs4 import BeautifulSoup

# 早明浦ダムのリアルタイムダム諸量一覧表
url = 'http://www1.river.go.jp/cgi-bin/DspDamData.exe?ID=1368080700010&KIND=3&PAGE=0'

r = requests.get(url)

if r.status_code == requests.codes.ok:

    soup = BeautifulSoup(r.content, 'html.parser')

    link = urljoin(url, soup.select_one('body > center > p > a').get('href'))

    df = pd.read_csv(
        link,
        skiprows=9,
        encoding='shift_jis',
        names=[
            '年月日', '時刻', '流域平均雨量', '流域平均雨量属性', '貯水量', '貯水量属性', '流入量', '流入量属性',
            '放流量', '放流量属性', '貯水率', '貯水率属性'],
        parse_dates=['年月日']
    )

Answer 1

24:00が含まれていつデータの補正用コードの例示です。

import datetime
import dateutil.parser

# 関数の定義（YYYYMMDDHHMMの8桁のintを変換）
def date_parse(x) :
    date_txt = str(x)
    HH = date_txt[8:10]
    if HH == '24' :     # 時間に24:00が含まれているので23時に修正
        YYYYMMDD = date_txt[0:8]
        result = dateutil.parser.parse(YYYYMMDD) + \
                            datetime.timedelta(hours=23) + datetime.timedelta(minutes=50)
        
        return result
    else :
        return (dateutil.parser.parse(date_txt) - datetime.timedelta(minutes=10))

上記は、00:00～00:10のデータの場合、終わりの時間(00:10)を使っていましたので始まりの時間に全てを調整するという方針で自力でパースしました。

Comments

[barobaro]

ありがとうございます。
参考にして無事解決できました。
timedeltaでは24時でも大丈夫でしたので調整しなくても大丈夫みたいです。

Answer 2

import datetime

def conv(temp):
    H, M = map(int, temp.split(':'))
    return datetime.timedelta(hours=H, minutes=M)


df['日時'] = df['年月日'] + df['時刻'].apply(conv)

Answer 3

read_csvの際、年月日をdatetime型にparseせず文字列として読み込み、時刻と連結した後にpd.to_datetime()でparseしてはいかがでしょうか？コードイメージは以下です。

pd.to_datetime(df['年月日']+' '+df['時刻'])

Comments

[barobaro]

どうも24:00があるのでエラーのような気がするのですがどうすればいいのでしょうか

[R.Shigemori]

24:00を00:00にするようなコードを追記する必要があります。
ただ、単純に00:00に置き換えると3日の23:50の次が3日の00:00という風に時間軸が狂ってしまうので翌日になるように調整する必要があります。

以前、10分刻みのデータに24:00が含まれていた際の調整用のコードを載せておくので参考にしてください。