時系列データでの値修正

Question

あるDataFrameにおいて、indexに日時(時間毎プロット)、columnsは日時に対応した価格が入っている時に、欠損ではないのですが明らかに間違いと思われる価格が複数入っているため、これを前日時の値に修正したいと考えています。

初めは対象となる日時を可視化して確認・修正していたのですが、量が多いので効率的に返還する方法はないかと・・・。イメージしているのは1時間前(1列前)の値より±10%変化したら1時間前の値に変更するというものです。

For文で判定させて修正しようとも思ったのですが、ひとつ前の行をどのように指定すればよいのかわかりませんでした。

初歩的な質問で申し訳ありませんが、よろしくお願い致します。

Answer 1

既に解決済みですが・・別解を書きかけていたので投稿します。

pandas にて前行の値との計算や比較を行うときは DataFrame.shift() をお使います。

例えば 「前行との変動率」 は

((df['value'].shift(1) - df['value']).abs())/df['valalue']

のように書けます。

ですので「変動率が10%以上の場合は前の行の値を入れる」はこんな感じになるかと思います。

df.ix[(((df['value'].shift(1)-df['value']).abs())/df['value']) > 0.1,'value'] = df['value'].shift()

ただ、この方法だと、外れ値の下の行も変動率が高くなってしまい、対象になってしまうので、もう少し条件を追加する必要がありそうです。

たとえば条件を「１行前との変動率、２行前との変動率共に10%以上」にした例では

df.ix[((((df['value'].shift(1)-df['value']).abs())/df['value']) > 0.1) & ((((df['value'].shift(2)-df['value']).abs())/df['value']) > 0.1),'value'] = df['value'].shift()

となります

Comments

[jun.k]

ありがとうございました。ただデータが2行以上連続して外れ値の場合のあるため、for文で修正しながらのほうがよいかと思い、ご指摘いただいたshiftを使って組んでみたのですが、エラーが出てしまいうまくいきませんでした
for i in df['value']:
if abs(i.shift(1)-i)>10:
i.shift(1)=i
shiftがうまく機能するのであればこちらの方が分かりやすいかと思ったのですが。

Answer 2

単純に、前の値を別変数に保持しておきます。
ループでは変化を見て、異常なら前の値で置き換えます。

import pandas as pd
import datetime as dt

# テストデータ
hours = [h for h in range(10)]
dates = list(map(lambda h: dt.datetime(2017,9,8,h,0,0),hours))
vals = [1000+h*10 for h in hours]
vals[2] = vals[5] = 9999 # 異常値
df = pd.DataFrame( {'val':vals},index=dates)
print(df)

# 異常値は前の値に補正
vals = df['val']
prev = vals[0]
for i,v in enumerate(vals):
    if abs((v - prev) / prev) >= 0.1:
        vals[i] = prev
    prev = vals[i]
print(df)

Comments

[jun.k]

これだと初めのループの際に、prevもvも1行目の値が入るので計算できないんじゃないかと思ったのですが、試したらできました。ありがとうございました!!

Answer 3

こんなの使ってみるのもありかもしれないですね。

def couple(arg_list):
    if len(arg_list) < 2:
        return
    for i in range(1, len(arg_list)):
        yield arg_list[i-1], arg_list[i]

def main():
    my_list = [3]
    for before, after in couple(my_list):
        print(before, after)

if __name__ == '__main__':
    main()

"""出力
3 5
5 1
1 6
"""

もっといい方法があるかもわかりませんが。

Comments

[jun.k]

ありがとうございました。ちょっと理解するのに時間がかかりそうなのですが、試してみます。