Pandasでindex=年,columns=月日時間のdataframe作成

Question

前提・実現したいこと

極値理論を使って多摩川の氾濫は推測できたのか検証してみる
https://qiita.com/hrkz_szk/items/3b17a45f9e8c55634597

を参考に多摩川の水位をスクレイピングしたのですが
年毎の水位を表示したいのですがうまくいきません。

年でグループ化はできたのですが一緒にplotすると年があるため続きに表示されてしまいます。

年、月日時間で分けることができたら表示できると思うのですが
Pandasでindex=年,columns=月日時間のdataframe作成の仕方を教えてください。

|year|01-01 1:00|01-01 2:00|01-01 3:00|01-01 4:00|…|12-31 24:00|
|:--|:--:|--:|--:|--:|--:|
|2000|||||||
|2001|||||||
|2002|||||||
|2003|||||||

該当のソースコード

スクレイピング

import pandas as pd
from tqdm import tqdm_notebook
import time

years = [2010, 2011, 2012, 2013, 2014, 2015, 2016, 2017, 2018, 2019]

dfs = []

for year in tqdm_notebook(years):
    for month in tqdm_notebook(range(1, 13), desc=str(year)):

        data = pd.read_html(f"http://www1.river.go.jp/cgi-bin/DspWaterData.exe?KIND=2&ID=303051283310030&BGNDATE={year}{month:02}01&ENDDATE=20191231&KAWABOU=NO", skiprows=1, header=0, index_col=0, na_values=["欠測", "閉局"])
        dfs.append(data[1].iloc[:-1,:])

        time.sleep(1)

df = pd.concat(dfs)

df.to_csv("result.csv")

整形

df1 = pd.read_csv("result.csv", parse_dates=["date"], names=["date", 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24], header=None, skiprows=1)

df2 = pd.melt(df1, id_vars='date', var_name='hour', value_name='level')
df2 = df2.sort_values(['date','hour']).reset_index(drop = True)

import datetime

df2["datetime"] = pd.to_datetime(df2["date"] + df2["hour"].apply(lambda x: datetime.timedelta(hours=x)))
df2.set_index("datetime", inplace=True)
df2["level"].plot(figsize=(15,5))

試したこと

年ごとのグループを作成

df3 = df2["level"].copy()
df3
df_year = [g for n, g in df3.groupby(pd.Grouper(freq="Y"))]

ax = df_year[18].plot(figsize=(15,5))
df_year[19].plot(figsize=(15,5), ax=ax)

補足情報（FW/ツールのバージョンなど）

google colaboratory

Comments

[meg_]

表現したいグラフはどのようなものですか？

[barobaro]

返事が遅くなりすみません。
xが月日時間、yが水位で年毎のグラフを作成したいです。
nomukenさんのコードで作成できましたので画像追加しておきます。

Answer 1

こんな感じでしょうか

import pandas as pd
import numpy as np

df1 = pd.read_csv("result.csv", parse_dates=["date"], names=["date", 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24], header=None, skiprows=1)

df2 = pd.melt(df1, id_vars='date', var_name='hour', value_name='level')
df2 = df2.sort_values(['date','hour']).reset_index(drop = True)

import datetime

df2['year'] = pd.to_datetime(df2['date']).apply(lambda x: x.year)
df2['mmddhhmm'] = df2[['date', 'hour']].apply(lambda x: '{0:s} {1:02d}:00'.format(pd.to_datetime(x[0]).strftime('%m-%d'), x[1]), axis=1)

print(df2)
"""
            date hour  level  year     mmddhhmm
0     2010-01-01    1   3.23  2010  01-01 01:00
1     2010-01-01    2   3.23  2010  01-01 02:00
2     2010-01-01    3   3.22  2010  01-01 03:00
3     2010-01-01    4   3.22  2010  01-01 04:00
4     2010-01-01    5   3.22  2010  01-01 05:00
...          ...  ...    ...   ...          ...
87643 2019-12-31   20    NaN  2019  12-31 20:00
87644 2019-12-31   21    NaN  2019  12-31 21:00
87645 2019-12-31   22    NaN  2019  12-31 22:00
87646 2019-12-31   23    NaN  2019  12-31 23:00
87647 2019-12-31   24    NaN  2019  12-31 24:00

[87648 rows x 5 columns]
"""

df3 = pd.pivot_table(df2, values='level', index='year', columns='mmddhhmm')
print(df3)
"""
mmddhhmm  01-01 01:00  01-01 02:00  01-01 03:00  01-01 04:00  ...  12-31 21:00  12-31 22:00  12-31 23:00  12-31 24:00
year                                                          ...
2010             3.23         3.23         3.22         3.22  ...         2.07         2.07         2.07         2.07
2011             2.07         2.07         2.07         2.08  ...         3.23         3.23         3.24         3.24
2012             3.23         3.23         3.23         3.23  ...         3.27         3.25         3.28         3.29
2013             3.29         3.29         3.28         3.28  ...         3.23         3.24         3.24         3.25
2014             3.25         3.24         3.24         3.24  ...         3.26         3.26         3.26         3.25
2015             3.26         3.25         3.25         3.25  ...         3.25         3.25         3.25         3.25
2016              NaN         3.25         3.25         3.25  ...         3.27         3.27         3.27         3.27
2017             3.27         3.27         3.27         3.27  ...         3.19         3.19         3.19         3.19
2018             3.19         3.19         3.19         3.19  ...         3.22         3.22         3.22         3.22
2019             3.22         3.22         3.22         3.22  ...          NaN          NaN          NaN          NaN

[10 rows x 8784 columns]
"""

Comments

[barobaro]

グラフも無事作成することができました。
年と月日時間の処理方法がわからなかったので勉強になりました。
どうもありがとうございます。