Pandas.Dataframe2つのcsvの時刻列を一致させて読み込みたい

Question

以下のようなcsvがあるのですが、それぞれのcsvのスタート時刻がバラバラなので、２つのCSV同士で計算させる際に行がずれてしまいます。

２つのcsvのtime列が一致するもの同士で計算させる方法はないでしょうか？
2020-11-07 14:33:35までの小数点を除いた時刻で一致するもの同士で計算させたいです。

多分色々なやり方があるかと思いますが、アイデアを下さると幸いです。
よろしくお願いいたします。

[読み込んだDataframe1]
time price
0 2020-11-07 14:33:35.604666 1618394.0
1 2020-11-07 14:33:36.697760 1618500.0
2 2020-11-07 14:33:37.762470 1618591.0
3 2020-11-07 14:33:38.868721 1618716.0
4 2020-11-07 14:33:39.968685 1618610.0
... ... ...
19168 2020-11-07 20:33:30.354527 1620369.0
19169 2020-11-07 20:33:31.442905 1620367.0
19170 2020-11-07 20:33:32.529267 1620483.0
19171 2020-11-07 20:33:33.653624 1620606.0
19172 2020-11-07 20:33:34.774001 1620653.0

[読み込んだDataframe2]
time price
0 2020-11-07 14:33:36.304415 1605085.0
1 2020-11-07 14:33:37.362915 1605085.0
2 2020-11-07 14:33:38.417302 1605085.0
3 2020-11-07 14:33:39.492559 1605143.0
4 2020-11-07 14:33:40.567851 1605143.0
... ... ...
20185 2020-11-07 20:33:31.681769 1607512.0
20186 2020-11-07 20:33:32.746142 1607512.0
20187 2020-11-07 20:33:33.796543 1607738.0
20188 2020-11-07 20:33:34.845943 1607738.0
20189 2020-11-07 20:33:35.929324 1607738.0

[csvの読み込みと計算]

import numpy as np
import pandas as pd

#読み込みデータ１
input_dir = "****"
input_filename = f"*****"
input_encoding = "shift_jis"
output_dir = ""
data = pd.read_csv(input_dir + input_filename, encoding=input_encoding, usecols = [1, 2])

price = pd.read_csv(input_dir + input_filename, encoding=input_encoding, usecols = [2])
    
#読み込みデータ２
input_dir2= "*********"
input_filename2= f"***************"
input_encoding2= "shift_jis"
output_dir2= ""
data2 = pd.read_csv(input_dir2 + input_filename2, encoding=input_encoding2, usecols = [1, 2])

price2 = pd.read_csv(input_dir2 + input_filename2, encoding=input_encoding2, usecols = [2])

#行いたい計算
print((price / price2)*100)

[上記の計算で出力されたもの]
０行目が、dataframe1の「2020-11-07 14:33:35.604666 」と
dataframe2の「2020-11-07 14:33:36.304415」を計算しているので2秒ずれた状態で計算してしまっている。
price
0 100.829177
1 100.835781
2 100.841451
3 100.845594
4 100.838991
... ...
20185 NaN
20186 NaN
20187 NaN
20188 NaN
20189 NaN

Comments

[can110]

どのような計算を行いたいのかが分かりません。
単純な入力例と欲しい結果、およびその計算方法、規則を記載ください。

[Daregada]

> 同じDatatimeの数字同士

見たところ、同じDatetimeのデータはひとつもないのですが、小数点以下(マイクロ秒)の部分は無視するということかな?　そこらへんをはっきり質問に書きましょう。

[meg_]

まずミリ秒以下を0にする方法を調べてみると良いかと思います。

Answer 1

2つのCSVファイルのどちらも、

• read_csvする際にオプション引数のparse_datesでtime列を指定するか、読み込んだ後でto_datetimeで変換するかして、Timestamp型(datetime64[ns])に変換しておく。
• データフレームのtime列のミリ秒(小数点以下)の値をTimestamp.replaceを使って0にする。
• set_indexで(ミリ秒以下をなくした)time列をインデックスに指定する。

という処理を行なってから、列方向にconcatすれば、同じインデックスを持つデータが横に並んだデータフレームができます。あとは、普通に行ごとの数値を計算してください。

import pandas as pd
import io

txt1 = """
time,price
2020-11-07 14:33:35.604666,1618394.0
2020-11-07 14:33:36.697760,1618500.0
2020-11-07 14:33:37.762470,1618591.0
2020-11-07 14:33:38.868721,1618716.0
2020-11-07 14:33:39.968685,1618610.0
2020-11-07 20:33:30.354527,1620369.0
2020-11-07 20:33:31.442905,1620367.0
2020-11-07 20:33:32.529267,1620483.0
2020-11-07 20:33:33.653624,1620606.0
2020-11-07 20:33:34.774001,1620653.0
"""

txt2 = """
time,price2
2020-11-07 14:33:36.304415,1605085.0
2020-11-07 14:33:37.362915,1605085.0
2020-11-07 14:33:38.417302,1605085.0
2020-11-07 14:33:39.492559,1605143.0
2020-11-07 14:33:40.567851,1605143.0
2020-11-07 20:33:31.681769,1607512.0
2020-11-07 20:33:32.746142,1607512.0
2020-11-07 20:33:33.796543,1607738.0
2020-11-07 20:33:34.845943,1607738.0
2020-11-07 20:33:35.929324,1607738.0
"""

df1 = pd.read_csv(io.StringIO(txt1), parse_dates=['time'])
df2 = pd.read_csv(io.StringIO(txt2), parse_dates=['time'])

df1['time'] = df1['time'].map(lambda x: x.replace(microsecond=0))
df2['time'] = df2['time'].map(lambda x: x.replace(microsecond=0))

df1.set_index('time', inplace=True)
df2.set_index('time', inplace=True)
dfm = pd.concat((df1, df2), axis=1)

dfm['calc'] = dfm['price'] / dfm['price2'] * 100
print(dfm)

                        price     price2        calc
time
2020-11-07 14:33:35  1618394.0        NaN         NaN
2020-11-07 14:33:36  1618500.0  1605085.0  100.835781
2020-11-07 14:33:37  1618591.0  1605085.0  100.841451
2020-11-07 14:33:38  1618716.0  1605085.0  100.849239
2020-11-07 14:33:39  1618610.0  1605143.0  100.838991
2020-11-07 14:33:40        NaN  1605143.0         NaN
2020-11-07 20:33:30  1620369.0        NaN         NaN
2020-11-07 20:33:31  1620367.0  1607512.0  100.799683
2020-11-07 20:33:32  1620483.0  1607512.0  100.806899
2020-11-07 20:33:33  1620606.0  1607738.0  100.800379
2020-11-07 20:33:34  1620653.0  1607738.0  100.803303
2020-11-07 20:33:35        NaN  1607738.0         NaN

Comments

[bsdfan]

ミリ秒以下の切り捨てには、
df1['time'] = df1['time'].dt.floor('s')
も使えます。

[kei_124981]

ご回答ありがとうございます！
無事やりたいことができました！