Datetimeindexで表したものの期間を延ばしたい

Question

前提・実現したいこと

Datetimeindexで表したものの期間を延ばしたい

発生している問題・エラーメッセージ

あるCsvファイルからデータを取り出したのですが，期間が2012-01-27 09:00:00から2012-10-23 08:00:00となっています．これの期間を延ばして2012-01-01 00:00:00から2013-01-01 00:00:00にする方法はありますか？間の期間は一時間刻みになっています．

問題となるデータ

	index	層	水深(m)	最下層	水温(℃)	塩分	DO飽和度(%)
date							
2012-01-27 09:00:00	19016	26.0	26.0	NaN	NaN	NaN	NaN
2012-01-27 10:00:00	19046	26.0	26.0	NaN	NaN	NaN	NaN
2012-01-27 11:00:00	19076	26.0	26.0	NaN	NaN	NaN	NaN
2012-02-18 03:00:00	34676	26.0	26.0	NaN	NaN	NaN	NaN
2012-02-18 04:00:00	34706	26.0	26.0	NaN	NaN	NaN	NaN
...	...	...	...	...	...	...	...
2012-08-22 05:00:00	168704	26.0	26.0	NaN	NaN	NaN	NaN
2012-08-22 06:00:00	168734	26.0	26.0	NaN	NaN	NaN	NaN
2012-08-22 07:00:00	168764	26.0	26.0	NaN	NaN	NaN	NaN
2012-08-22 08:00:00	168794	26.0	26.0	NaN	NaN	NaN	NaN
2012-10-23 08:00:00	213434	26.0	26.0	NaN	NaN	NaN	NaN

中に入るデータはNan値として入れてかまいません．

Answer 1

以下のexpand_dfを呼べば多分できるでしょう。

import pandas as pd
import numpy as np
import datetime
interval = datetime.timedelta(hours=1)

def datetime_generator(start, end, interval=datetime.timedelta(hours=1)):
    dt = start
    while dt < end:
        yield dt
        dt += interval
    return

def make_df(df, s, e):
    dt = list(datetime_generator(s, e))
    d = {df.index.name : dt}
    for i in df.columns:
        d[i] = [np.nan] * len(dt)
    return pd.DataFrame(d).set_index(df.index.name)

def dt64todt(dt64):
    return datetime.datetime.utcfromtimestamp(dt64.astype(object)*1e-9)

def expand_df(df, start, end):
    df_start = min(datetime.datetime(*start), dt64todt(df.index.values[0]))
    df_end = max(dt64todt(df.index.values[-1]) + interval, datetime.datetime(*end))
    expanded_df = make_df(df, df_start, df_end)
    expanded_df.loc[df.index.values[0]:df.index.values[-1], :] = df
    return expanded_df


if __name__ == '__main__':

    df = pd.DataFrame({'date' : [datetime.datetime(2012,1,27,9),datetime.datetime(2012,1,27,10)],
                       'index' : [19016,19046],
                       '層' : [26.0,26.0],
                       '水深(m)' : [26.0,26.0],
                       '最下層' : [np.nan,np.nan],
                       '水温(℃)' : [np.nan,np.nan],
                       '塩分' : [np.nan,np.nan],
                       'DO飽和度(%)' : [np.nan,np.nan]}).set_index('date')

    print(expand_df(df, (2012,1,27,0), (2012,1,28,0)))

実行結果は以下です。

> python datetimeindex.py
                       index     層  水深(m)  最下層  水温(℃)  塩分  DO飽和度(%)
date
2012-01-27 00:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 01:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 02:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 03:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 04:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 05:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 06:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 07:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 08:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 09:00:00  19016.0  26.0   26.0  NaN    NaN NaN       NaN
2012-01-27 10:00:00  19046.0  26.0   26.0  NaN    NaN NaN       NaN
2012-01-27 11:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 12:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 13:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 14:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 15:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 16:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 17:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 18:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 19:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 20:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 21:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 22:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN
2012-01-27 23:00:00      NaN   NaN    NaN  NaN    NaN NaN       NaN