時系列データの日時データへの変換について

Question

達成したいこと

dfに入ったタイムスタンプについて、正規表現を使って、ミリ秒まであるデータの年、月、日、時、分まで取得したいです。
1レコードにカンマ区切りで年～ミリ秒まで入っていて処理に困っております。

想定されるデータ

データフレームに入っているtimestampを想定しています。

timestamp
2019, 1, 1, 1, 2, 30, 60500
2019, 1, 1, 1, 3, 31, 71800
2019, 1, 1, 1, 4, 32, 24500
2019, 1, 1, 1, 5, 33, 92100

試したこと

pd.to_datetime(df['timestamp'].replace(', [0-9]{4,}', '', regex=True), format = '%Y, %m, %d, %H, %M')

中にはミリ秒や描画省略されているものもあり、上記だとエラーが出てしまうようです。

以上の件につきまして、何卒よろしくお願い申し上げます。

Answer 1

とりあえず、ワンライナーで書いてみました（２種類）。

import pandas as pd
from datetime import datetime

df = pd.DataFrame({'timestamp': ['2019, 1, 1, 1, 2, 30, 60500',
                                 '2019, 1, 1, 1, 3, 31, 71800',
                                 '2019, 1, 1, 1, 4, 32, 24500',
                                 '2019, 1, 1, 1, 5, 33, 92100',
                                 '2019, 1, 1, 1, 6, 34',
                                 '2019, 1, 1, 1, 7']})

# DataFrame.apply() でdatetimeに変換する方法
ret = df['timestamp'].str.split(',', expand=True).iloc[:,:5].astype(int).apply(lambda d: datetime(*d), axis=1)
#0   2019-01-01 01:02:00
#1   2019-01-01 01:03:00
#2   2019-01-01 01:04:00
#3   2019-01-01 01:05:00
#4   2019-01-01 01:06:00
#5   2019-01-01 01:07:00
#dtype: datetime64[ns]

# pandas.to_datetime() でdatetimeに変換する方法
ret = pd.to_datetime(df['timestamp'].str.split(',', expand=True).iloc[:,:5].astype(int).rename(columns={0:'year',1:'month',2:'day',3:'hour',4:'minute'}))
#0   2019-01-01 01:02:00
#1   2019-01-01 01:03:00
#2   2019-01-01 01:04:00
#3   2019-01-01 01:05:00
#4   2019-01-01 01:06:00
#5   2019-01-01 01:07:00
#dtype: datetime64[ns]

Answer 2

元のDataFrameをdfとします。Series timestampをカンマ区切りの日時（年からミリ秒まで）とします。

df2 = df['timestamp'].str.split(',', expand=True)
df['timestamp'] = df2[0] + '-' + df2[1] + '-' + df2[2] + ' ' + df2[3] + ':' + df2[4] + ':' + df[5]
df['timestamp'] = pd.to_datetime(df['timestamp'])

Answer 3

かなり冗長ですが、以下のように変換できます。

import pandas as pd
from io import StringIO

s = """timestamp
2019,1,1,1,2,30,60500
2019, 1, 1, 1, 3, 31
2019, 1, 1, 1, 4"""
df = pd.read_csv( StringIO(s), sep='\t')

def f(s):
    l = s.split(',')
    l = l[:5] # 分まで
    l = [v.strip() for v in l]
    s = ','.join(l)
    dt = pd.to_datetime(s, format='%Y,%m,%d,%H,%M')
    return dt

sr =  df['timestamp'].apply(f)
print(sr)

# あるいは以下でも可
sr = df['timestamp'].apply(lambda s:pd.to_datetime(','.join(map(lambda v: v.strip(), s.split(',')[:5])), format='%Y,%m,%d,%H,%M'))
print(sr)

#0   2019-01-01 01:02:00
#1   2019-01-01 01:03:00
#2   2019-01-01 01:04:00