1時間ごとに行が分かれた時系列データを1日ごとに各行にまとめたい。

Question

下記URLより取得した時系列データは1時間ごとに行で分かれています。
このデータを1時間ごとの実測値を列として扱い、各行が1日の時系列データとなるデータに変換したく質問しました。

import pandas as pd

url = "http://www.tepco.co.jp/forecast/html/images/juyo-2019.csv"

df = pd.read_csv(url, encoding="shift_jis", skiprows=2)
df.head()

空データにデータを追加していくことで変換していこうと試みましたが、元データを下記のような形式に合わせる方法が分からず止まっています。

df = pd.DataFrame(columns=['DATE' ,'00:00','01:00' , '02:00', '03:00', '04:00', 
                          '05:00', '06:00', '07:00','08:00','09:00', '10:00', 
                          '11:00', '12:00', '13:00','14:00', '15:00','16:00',
                          '17:00','18:00','19:00','20:00','21:00',
                          '22:00','23:00','24:00'])

やり方が乗っているサイトを教えていただくだけでも構いませんので、どなたか力を貸してください。
お願いいたします。

Answer 1

以下のようにpivot_tableを使うとよいかと思います。

import pandas as pd

url = "http://www.tepco.co.jp/forecast/html/images/juyo-2019.csv"
df = pd.read_csv(url, encoding="shift_jis", skiprows=2)

# 横持に
df = df.pivot_table( values=['実績(万kW)'], index=['DATE'], columns=['TIME'])
col_times = df.columns.get_level_values(1).tolist()
df = pd.DataFrame(df.to_records())

# カラム名をTIMEのみに変更
df.columns = ['DATE'] + col_times

# カラムを文字列順から時刻（数値）順にソート
col_times.sort(key=lambda e: int(e.split(':')[0]))
df = df[['DATE'] + col_times]

print(df)
"""
          DATE  0:00  1:00  2:00  3:00  4:00  5:00  6:00  ...  16:00  17:00  18:00  19:00  20:00  21:00  22:00  23:00
0     2019/1/1  3017  2849  2730  2636  2579  2592  2726  ...   2736   3052   3141   3160   3166   3133   3011   2883
1    2019/1/10  3524  3354  3266  3224  3257  3511  4077  ...   4662   4906   4918   4828   4712   4534   4288   3986
2    2019/1/11  3637  3429  3319  3261  3268  3472  3963  ...   4205   4439   4443   4349   4234   4090   3922   3696
3    2019/1/12  3410  3239  3135  3067  3035  3128  3394  ...   4176   4297   4276   4192   4070   3882   3635   3393
4    2019/1/13  3125  2972  2891  2842  2826  2884  3050  ...   3381   3764   3875   3867   3835   3724   3525   3353
..         ...   ...   ...   ...   ...   ...   ...   ...  ...    ...    ...    ...    ...    ...    ...    ...    ...
360   2019/9/5  2763  2604  2530  2528  2562  2621  2791  ...   4228   4153   4162   3992   3782   3563   3423   3200
361   2019/9/6  2930  2742  2653  2637  2656  2701  2910  ...   4845   4615   4535   4334   4088   3834   3672   3418
362   2019/9/7  3126  2902  2771  2727  2711  2693  2779  ...   4231   4151   4197   4085   3906   3677   3472   3246
363   2019/9/8  2983  2784  2673  2639  2631  2615  2692  ...   4087   4110   4209   4091   3891   3670   3429   3188
364   2019/9/9  2940  2759  2667  2640  2650  2677  2838  ...   4963   4724   4659   4460   4199   3921   3710   3440

[365 rows x 25 columns]
"""

Comments

[ttt_]

自身のやりたい形状に変換することができました。
回答してくださりありがとうございました。