pandasを用いて読み込んだcsvファイルのデータを時系列順に整理する方法

Question

pandasを用いて読み込んだcsvファイルのデータを時系列順に整理する方法

pandasを用いて以下のような降雨量のデータを時系列順に整理したいと考えています。
データは1列目が日付を示し，その日の0時から24時までの降雨量が1時間刻みで入力されています。

上のデータを次の画像のような形式に変更することを目的としています。

試したこと

とりあえずデータを縦に積みたいので、自分なりに調べてみてstack()を用いてみました。

該当のソースコード

Google Colabを用いています。

import pandas as pd
df = pd.read_csv("train_data.csv", index_col=0).stack()
df.head(25)

出力は以下の通りです。

Date                 
2019/1/1  Unnamed: 1     0
          Unnamed: 2     0
          Unnamed: 3     0
          Unnamed: 4     0
          Unnamed: 5     0
          Unnamed: 6     0
          Unnamed: 7     0
          Unnamed: 8     0
          Unnamed: 9     0
          Unnamed: 10    0
          Unnamed: 11    0
          Unnamed: 12    0
          Unnamed: 13    0
          Unnamed: 14    0
          Unnamed: 15    0
          Unnamed: 16    0
          Unnamed: 17    0
          Unnamed: 18    0
          Unnamed: 19    0
          Unnamed: 20    0
          Unnamed: 21    0
          Unnamed: 22    0
          Unnamed: 23    0
          Unnamed: 24    1
2019/1/2  Unnamed: 1     1
dtype: int64

発生している問題・エラーメッセージ

以下の2点で困っています。

・縦に並べた際に行ラベルに時刻情報を補完する方法
・Unnamedの列が出現してしまうこと

補足情報

数日前に勉強をはじめたばかりの初心者です。質問内容が抽象的で、至らない点もたくさんあるかと思いますが、よろしくお願いします。

Answer 1

ざっと書いてみました。

もう少しスマートに書けそうな気がしてますがとりあえず、やりたいことは実現できてると思います。

具体的にやっている内容は

• DataFrame.stack() する前に 'MM:SS' 形式でcolumn名を設定
• stack()後に MultiInexをDatetime型に変換

となっております。

import pandas as pd
import io

data = """
Date,,,,,,,,,,,,,,,,,,,,,,,,,
2019/1/1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1
2019/1/2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
"""

df = pd.read_csv(io.StringIO(data), index_col='Date')
df.columns = [f'{i:02d}:00' for i in range(25)]
df = df.stack()
df.index = pd.to_datetime(df.index.get_level_values(0) + ' ' + df.index.get_level_values(1))
print(df)
#2019-01-01 00:00:00    0.0
#2019-01-01 01:00:00    0.0
#2019-01-01 02:00:00    0.0
#2019-01-01 03:00:00    0.0
#2019-01-01 04:00:00    0.0
#2019-01-01 05:00:00    0.0
#2019-01-01 06:00:00    0.0
#2019-01-01 07:00:00    0.0
#2019-01-01 08:00:00    0.0
#2019-01-01 09:00:00    0.0
#2019-01-01 10:00:00    0.0
#2019-01-01 11:00:00    0.0
#2019-01-01 12:00:00    0.0
#2019-01-01 13:00:00    0.0
#2019-01-01 14:00:00    0.0
#2019-01-01 15:00:00    0.0
#2019-01-01 16:00:00    0.0
#2019-01-01 17:00:00    0.0
#2019-01-01 18:00:00    0.0
#2019-01-01 19:00:00    0.0
#2019-01-01 20:00:00    0.0
#2019-01-01 21:00:00    0.0
#2019-01-01 22:00:00    0.0
#2019-01-01 23:00:00    1.0
#2019-01-02 00:00:00    1.0
#2019-01-02 01:00:00    0.0
#2019-01-02 02:00:00    0.0
#2019-01-02 03:00:00    0.0
#2019-01-02 04:00:00    0.0
#2019-01-02 05:00:00    0.0
#2019-01-02 06:00:00    0.0
#2019-01-02 07:00:00    0.0
#2019-01-02 08:00:00    0.0
#2019-01-02 09:00:00    0.0
#2019-01-02 10:00:00    0.0
#2019-01-02 11:00:00    0.0
#2019-01-02 12:00:00    0.0
#2019-01-02 13:00:00    0.0
#2019-01-02 14:00:00    0.0
#2019-01-02 15:00:00    0.0
#2019-01-02 16:00:00    0.0
#2019-01-02 17:00:00    0.0
#2019-01-02 18:00:00    0.0
#2019-01-02 19:00:00    0.0
#2019-01-02 20:00:00    0.0
#2019-01-02 21:00:00    0.0
#2019-01-02 22:00:00    0.0
#2019-01-02 23:00:00    0.0
#dtype: float64

Comments

[raurau4471]

ご回答ありがとうございます。
同じコードで同じ出力が得られること確認した上で次のようなコードを実行してみましたが、以下のようなエラーメッセージが表示されました。
どういった解決方法が考えられるでしょうか…？
多重の質問申し訳ありません。

```python
import pandas as pd
import io

data = pd.read_csv("train_data.csv")

df = pd.read_csv(io.StringIO(data), index_col='Date')
df.columns = [f'{i:02d}:00' for i in range(25)]
df = df.stack()
df.index = pd.to_datetime(df.index.get_level_values(0) + ' ' + df.index.get_level_values(1))
df.head(25)

TypeError Traceback (most recent call last)
<ipython-input-28-610b41ce0ad8> in <module>()
4 data = pd.read_csv("train_data.csv", index_col=0)
5
----> 6 df = pd.read_csv(io.StringIO(data), index_col='Date')
7 df.columns = [f'{i:02d}:00' for i in range(25)]
8 df = df.stack()

TypeError: initial_value must be str or None, not DataFrame
```

[magichan]

io.StringIO() は文字列をファイルのように扱うための method で、私のサンプルコードではコード中にcsvデータを直接記述するために使用しております。
ですので、通常はio.StringIO() を使う必要はなく、ファイルの読み込み部は
df = pd.read_csv(""train_data.csv", index_col='Date')
でよいかと思います。

[raurau4471]

正しく実行できました！本当にありがとうございます。