２軸グラフ ２つのファイル 異なる時間

Question

python3.6 異なる時間　2軸グラフの書き方

２つのファイルから作成する２つデータフレームから、
同じグラフ上に２軸でデータをプロットをしたいのですがうまくいきません。

２つのファイルでは、DateTime の解像度が異なり、
一つは秒単位、一つは日単位となっています。

うまく２軸のグラフを描画するにはどうしたらいいのでしょうか？
２軸失敗図

別々に描画した際
df

df2

該当のソースコード

#!/usr/bin/env python                                                                                                                  

import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.dates as dates
from datetime import datetime,timedelta

font = {'family' : 'meiryo'}

fig, ax1 = plt.subplots()

df = pd.read_csv("401190663.csv",header=None, names=['date','mjd','igrf','lat','lon','atl'])
df2= pd.read_csv("kpap.csv")


#print(df)                                                                                                                             
df['date'] = pd.to_datetime(df['date'])
df2['date'] = pd.to_datetime(df2['date'],format='%Y/%m/%d')
df.index = df['date']
df2.index = df2['date']
                                                                                                                           
#1                                                                                                                                     
df.plot(y='igrf',ax=ax1,figsize=(16,4))
ax2= ax1.twinx()
#2                                                                                                                                     
df2.plot(y='ave_ap',ax=ax2,color='r')
plt.savefig("igrf_index.png")

Answer 1

別々に描画したグラフを見ると、２つのグラフの年月日範囲は概ね一致しています。

秒単位のほうのデータを日単位に変換（秒単位の時間を１日の秒数(86400)で割れば、日単位に変換できる）してから両データをグラフ化すれば、別々に描画したグラフを重ねたようなグラフになると思います。

Comments

[shiroikuma]

回答ありがとうございます。できました！

Answer 2

pandas.merge_asof() を使用して、１日単位のデータdf2に対して　１秒単位のデータdf を DatetimeIndexを揃えた状態で結合してから plot() するというのはどうでしょうか。

以下はサンプル

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# df は１秒単位のデータ１年分を適当に生成
N = 60*60*24*365
df = pd.DataFrame({'date':pd.date_range('2017/01/01', freq='1s', periods=N), 'igrf': np.random.randint(0,100,N), 'lat': np.random.randint(0,100,N)})

# df2 は１日単位のデータ１年分を適当に生成
N2 = 365
df2 = pd.DataFrame({'date':pd.date_range('2017/01/01', freq='1d', periods=N2), 'ave_ap': np.random.randint(0,100,N2)})

# それぞれの'date'カラムをIndexに設定
df  = df.set_index('date')
df2 = df2.set_index('date')

# df2 に df を時間軸をそろえてマージ
merged_df = pd.merge_asof(df2,df,left_index=True,right_index=True, direction='nearest')


merged_df.plot(y=['igrf', 'ave_ap'])
plt.show()

Comments

[shiroikuma]

回答ありがとうございます。ソースを参考に描き直してみたところ、
raise ValueError(msg.format(side='right'))
ValueError: right keys must be sorted
となり、エラーが出ました。おそらく、データに欠損があり、日単位と秒単位の日付数が微妙に異なるせいかな？と想像します。別の方の回答も見まして、日時平均をとりましたら、解決しました。ありがとうございました。

Answer 3

DataFrameにresampleというメソッドがあります。これはデータを指定した単位でまとめるものなので、日次や週次で平均または合計してあげればいいと思います。使い方は以下の通りです。

df.resample('D').mean() #日次平均
df.resample('W').sum()  #週次合計

resampleの引数にまとめたい単位を設定し、その後に行いたい処理を記述します。

Comments

[shiroikuma]

できました！
s = df.resample('D').mean() でプロットしたら、意図したグラフになりました。ありがとうございました。

Answer 4

回答いただき、日時平均をとりましたらできました。皆様ありがとうございました。