２種類のデータフレームから一つのグラフで描写する方法ついて。

Question

お世話になります。

横軸が時間の場合にサンプリング幅が異なる2種類のデータフレームがあり、
時間の共通項部分だけ抜き出し、描写する方法についてご教示お願いいたします。

例えば、以下の2種類のデータフレームで共通の時間をx軸にしてy軸A,B,C,Dをプロットさせたいです。

データフレーム１

時間	A	B
0:00.005	1	2
0:00.010	2	4
0:00.015	3	6
0:00.020	4	8

データフレーム２

時間	C	D
0:00.010	6	1
0:00.020	7	3
0:00.030	8	5
0:00.040	9	7

現在は以下のデータフレーム３として共通の分を抜き出し、pandasのplot機能で描写をしているのですが
もっとスマートな方法がないものか質問させていただきました。

データフレーム３

時間	A	B	C	D
0:00.010	2	4	6	1
0:00.020	4	8	7	3

追記

コードは以下の通りです。

import pandas as pd
import matplotlib.pyplot as plt

df1=pd.DataFrame({"TIME":["00:00.005","00:00.010","00:00.015","00:00.020"],"A"["1","2","3","4"],"B":["2","4","6","8"]})
df1.index=df1["TIME"]
df2=pd.DataFrame({"TIME":["00:00.010","00:00.020","00:00.030","00:00.040"],"C"["6","7","8","9"],"D":["1","3","5","7"]})
df2.index=df2["TIME"]
df3=pd.concat([df1,df2],axis=1,join="inner")

plt.plot(df3["TIME"],df3["A"],df3["B"])
plt.plot(df3["TIME"],df3["C"],df3["D"])

Comments

[can110]

その手順で基本的によいと思うのですが、スマートかどうか分からないので、現在のソースコードを提示ください。

[sham0909]

返信ありがとうございました。本来はデータ量が多く計算時間が長いです。データフレーム結合して、共通部分を抜き出す行為が余計ではないかと思い、質問させていただきました。質問内容の手法が一般的であれば、このまま使っていきたいと思います。

[can110]

> 共通部分を抜き出す行為が余計ではないかと思い
余計かどうかは質問者様の要件によるので第三者としては余計かどうかの判断はできないかと。
コードとしては自然で問題ないと思います。

[sham0909]

ご指摘ありがとうございました。

Answer 1

グラフをプロットする為に２つのデータフレームを結合する行為自体を余計な行為とは思いません。私自身もこのような処理をよく行います。

それよりも、時間カラムを文字列として扱ったままデータをプロットしていることの方が問題かと思います。時間カラムが文字列の場合、時間の間隔に関係なくデータが等間隔で並んでプロットされてしまいます。
今回の場合はpandas.to_datetime() に formatパラメータを渡して
df1.index = pd.to_datetime(df1.index, format='%M:%S.%f')
のようにすることで df1 のIndexをDateTime型に変換できます。(df2も同様)

また、今回のように DateTime型のデータがIndexに指定されている場合、グラフの描画をワザワザ

plt.plot(df3["TIME"],df3["A"],df3["B"])
plt.plot(df3["TIME"],df3["C"],df3["D"])

のように記述しなくても

df3.plot()

とするだけでよいのでまとめると

import pandas as pd
import matplotlib.pyplot as plt

df1 = pd.DataFrame({
    "TIME":["00:00.005","00:00.010","00:00.015","00:00.020"],"A":[1,2,3,4],"B":[2,4,6,8]})
df1 = df1.set_index('TIME')
df1.index = pd.to_datetime(df1.index, format='%M:%S.%f')

df2=pd.DataFrame({
    "TIME":["00:00.010","00:00.020","00:00.030","00:00.040"],"C":[6,7,8,9],"D":[1,3,5,7]})
df2 = df2.set_index('TIME')
df2.index = pd.to_datetime(df2.index, format='%M:%S.%f')

pd.concat([df1,df2],axis=1,join="inner").plot()

のように書けるかと思います。（データの型やIndexの指定方法を若干修正しております）

あと最初に結合は問題ないと書きましたが、データがメモリを圧迫するくらい膨大でデータフレームのコピーを生成する余裕がないのであれば最後の箇所は 結合を止めて Maskを使って

df1[df1.index.isin(df2.index)].plot()

の方が良いかもしれませんね

Comments

[sham0909]

※同様の文を二重に投稿しました。本文は気にしないでください

[sham0909]

返信ありがとうございました。
データフレーム結合が一般的なのですね。データフレーム結合せずとも２つのデータフレームから共通部だけぬきだして、グラフをプロットするみたいな手法はないものかと思い、色々検索してみましたが見当たらず当該質問をした次第です。

コードの指摘ありがとうございました。ご指摘内容を理解をして、今後に活かしたいと思います。