indexを日付型に変換したら1900年から始まってしまいます。

Question

気象庁の東京の気温のページの表をスクレイピングしてデータフレームにしたのですが、表に12/1が付与されていない為、pythonでそのままデータフレームにした後に日付型に変換すると1900年になってしまいます。このデータフレームの日付を2020-12-1 00:00のようにするにはどうすればよいでしょうか。

import numpy as np
import pandas as pd
from datetime import datetime

url = 'http://www.data.jma.go.jp/obd/stats/etrn/view/10min_s1.php?prec_no=44&block_no=47662&year=2020&month=12&day=1&view='
data = pd.read_html(url)

data[0].columns = ['時分','現地','海面','降水量(mm)','気温(℃)','相対湿度(％)','平均','風向','最大瞬間','風向','日照時間(分)']

df = data[0][['時分', '気温(℃)', '相対湿度(％)']]
df = df.replace('24:00', '0:00')
df.set_index('時分', inplace=True)
df.index = pd.to_datetime(df.index, format='%H:%M') 
df

Answer 1

24:00の扱いが面倒なので、timedelta型に変換してから、日付とくっつけています。

pandas.to_timedelta()がHH:MM:SSのフォーマットしかダメなので、秒を追加してから変換しています。

# (途中から)
df = data[0][['時分', '気温(℃)', '相対湿度(％)']]
df.set_index('時分', inplace=True)

df.index = pd.to_datetime('2020/12/01') + pd.to_timedelta(df.index + ":00")

Comments

[o-fk]

ありがとうございました！

Answer 2

とりあえず出来ましたが、start = "2020/12/1"のところは可変にしたほうが良かったかもしれません。どう使われるのかよく分かってませんが、

import numpy as np
import pandas as pd
from datetime import datetime, timedelta

url = 'http://www.data.jma.go.jp/obd/stats/etrn/view/10min_s1.php?prec_no=44&block_no=47662&year=2020&month=12&day=1&view='
data = pd.read_html(url)

data[0].columns = ['時分','現地','海面','降水量(mm)','気温(℃)','相対湿度(％)','平均','風向','最大瞬間','風向','日照時間(分)']

df = data[0][['時分', '気温(℃)', '相対湿度(％)']]

def conv24to0(t):
    start = "2020/12/1"
    if t == '24:00' :
        result = 1440
    else :
        s = datetime.strptime(t,"%H:%M")
        result = s.hour*60 + s.minute
    return datetime.strptime(start,"%Y/%m/%d") + timedelta(minutes=result)
df['時分'] = df['時分'].apply(conv24to0)
df.set_index('時分', inplace=True)
print(df)


#                      気温(℃)  相対湿度(％)
# 時分                                 
# 2020-12-01 00:10:00    9.5       84
# 2020-12-01 00:20:00    9.6       84
# 2020-12-01 00:30:00    9.4       84
# 2020-12-01 00:40:00    9.8       80
# 2020-12-01 00:50:00    8.7       84
# ...                    ...      ...
# 2020-12-01 23:20:00    9.2       75
# 2020-12-01 23:30:00    9.5       74
# 2020-12-01 23:40:00    9.3       74
# 2020-12-01 23:50:00    9.0       76
# 2020-12-02 00:00:00    8.6       78

# [144 rows x 2 columns]

Comments

[o-fk]

ありがとうございました！