Pandasの時系列グラフで不足データの補完をしない方法

Question

###実現したいこと
現在、Pandasを使ってデータ分析の勉強をしています。
夏季平日の9時〜17時の8日分の1分データを分析しています。行数481行×8日=3848行
ソースコードの通りindexに'datetime'を割り当て、
parse_dates=Trueとすることでdtype='object'をdtype='datetime64[ns]'に変換して
データフレームに格納しています。

このデータフレームの'vT1[C]'を描画したところ以下の図のようになりました。

時間軸は求めている通りになったのですが、時刻データが無い行（17:01~翌8:59および土日）
については欠損ではなく直線で補完されてしまいました。
これをデータが欠損しているような表現にしたいです。

どなたか教えていただけないでしょうか？よろしくお願いいたします。

###該当のソースコード

df = pd.read_csv('summer.csv',index_col='datetime',parse_dates=True)
df['vT1[c]'].plot() #ちなみにmatplotlibを使っても同じ結果でした。

Answer 1

データの無い箇所を NaN で補完する方法はreindex()を使うと簡単に実現できます。

# 歯抜けがない１分毎のDateteimeIndexを生成
new_idx = pd.date_range(df.index[0], df.index[-1], freq='1min')
# Indexの置き換え（元データが無い箇所は"NaN"とする）てPlotする
df.reindex(new_idx, fill_value=np.nan)
plt.show()

Comments

[6y0sid]

上記方法でNaN補完ができました！ありがとうございます。

Answer 2

これをデータが欠損しているような表現にしたいです。

Noneが途中に挟んであると途切れるようです。
https://stackoverflow.com/questions/14399689/matplotlib-drawing-lines-between-points-ignoring-missing-data

もしくは点が十分あることを期待して、ls='none'してmarker='.'のように点でプロットすればよいかと思われます。

---

結合方法に改善の余地しかありませんが、雰囲気だけ。

import pandas as pd
import matplotlib.pyplot as plt
#等間隔時間インデックスを用意
rng = pd.date_range('20110101', '20110103', freq='H')
df_eq = pd.DataFrame({'data':np.nan} , index=rng)

#よるの時間帯が抜けたデータを用意
rng = pd.date_range('201101010700', '201101011900', freq='H')
df = pd.DataFrame({'data': np.random.randn(len(rng))}, index=rng)
rng = pd.date_range('201101020700', '201101021900', freq='H')
t = pd.DataFrame({'data': np.random.randn(len(rng))}, index=rng)
df = pd.concat([df, t])

#結合
df = df.merge(df_eq, how='right', left_index=True, right_index=True)
df.drop('data_y', axis=1, inplace=True)

#プロット
fig, ax = plt.subplots(dpi=200)
df.plot(marker='.', ax=ax)
plt.show()

Comments

[6y0sid]

ありがとうございます！
１分データでデータ数が多かったため、教えていただいた　ls='none'、marker='.' とすることで違和感無く表現できました。
ラインで繋ぎたい場合はNaNを作るなどする必要があるのですね。回答の通り実施することでラインありも再現することができました。