dfのコピーで結果が変わる

Question

http://www.algo-fx-blog.com/python-fx-trend-line/
こちらのページを参考に、FXのバックテストでトレンドを判定するメソッドを作成しているのですが、自身でコピーした場合に結果が変わってしまいます。

現在使っているdfです。2012年1月4日の１時間足のデータです。

                       time    open    high     low   close  volume  weekday   time_id  
0 2012-01-04 00:00:00+00:00  76.734  76.746  76.638  76.646   638.0        2   　　1
1 2012-01-04 01:00:00+00:00  76.644  76.678  76.620  76.672   247.0        2       2
2 2012-01-04 02:00:00+00:00  76.670  76.684  76.654  76.662   234.0        2       3
3 2012-01-04 03:00:00+00:00  76.664  76.696  76.658  76.690    98.0        2       4
4 2012-01-04 04:00:00+00:00  76.688  76.688  76.668  76.674   121.0        2       5

リンク先のコード

df['time_id'] = df.index + 1

# 元データを目的別に切り分ける
df_fin = df.copy()
df_high = df.copy()
df_low = df.copy()


# 上昇トレンドライン
while len(df_high) > 3:
    reg_1 = linregress(
        x=df_high['time_id'],
        y=df_high['high'],
    )
    df_high = df_high.loc[df_high['high'] > reg_1[0] * df_high['time_id'] + reg_1[1]]

reg_1 = linregress(
    x=df_high['time_id'],
    y=df_high['high'],
)

df_fin['high_trend'] = reg_1[0] * df_fin['time_id'] + reg_1[1]

# 安値のトレンドライン
while len(df_low) > 3:
    reg_2 = linregress(
        x=df_low['time_id'],
        y=df_low['low'],
    )
    df_low = df_low.loc[df_low['low'] < reg_2[0] * df_low['time_id'] + reg_2[1]]

reg_2 = linregress(
    x=df_low['time_id'],
    y=df_low['low'],
)

df_fin['low_trend'] = reg_2[0] * df_fin['time_id'] + reg_2[1]

print(reg_1.slope)
print(reg_2.slope)

出力
0.005733333333332287
0.004571428571430098

しかし、自分のバックテストでは、以下のようにdfを分けて使っているので、調整しました。

dfData = {
    "index": df.index,
    "time": df.time.values,
    "volume": df.volume.values,
    "open": df.open.values,
    "high": df.high.values,
    "low": df.low.values,
    "close": df.close.values,
    "weekday": df.weekday.values,
    "sma": df.sma.values,
    "divergence": df.divergence.values,
    "time_id": df.time_id,
}

for idx in range(df.shape[0]):
　　バックテストの処理

修正した結果が以下です。
修正点としては、コピーを格納した辞書を作成しました。

dfData = {
    "index": df.index,
    "time": df.time.values,
    "volume": df.volume.values,
    "open": df.open.values,
    "high": df.high.values,
    "low": df.low.values,
    "close": df.close.values,
    "weekday": df.weekday.values,
    "sma": df.sma.values,
    "divergence": df.divergence.values,
    "time_id": df.time_id,
}

df_high = {
    "time_id": dfData["time_id"].copy(),
    "high": dfData["high"].copy(),
}

df_low = {
    "time_id": dfData["time_id"].copy(),
    "low": dfData["low"].copy(),
}

df_fin = {
    "time_id": dfData["time_id"].copy(),
    "high": dfData["high"].copy(),
    "low": dfData["low"].copy(),
}

# 上昇トレンドライン
while len(df_high) > 3:
    reg_1 = linregress(
        x=df_high['time_id'],
        y=df_high['high'],
    )
    df_high = df_high.loc[df_high['high'] > reg_1[0] * df_high['time_id'] + reg_1[1]]

reg_1 = linregress(
    x=df_high['time_id'],
    y=df_high['high'],
)

df_fin['high_trend'] = reg_1[0] * df_fin['time_id'] + reg_1[1]

# 安値のトレンドライン
while len(df_low) > 3:
    reg_2 = linregress(
        x=df_low['time_id'],
        y=df_low['low'],
    )
    df_low = df_low.loc[df_low['low'] < reg_2[0] * df_low['time_id'] + reg_2[1]]

reg_2 = linregress(
    x=df_low['time_id'],
    y=df_low['low'],
)

df_fin['low_trend'] = reg_2[0] * df_fin['time_id'] + reg_2[1]

print(reg_1.slope)
print(reg_2.slope)

出力
0.0033991304347826324
0.0028386956521739303

追加した辞書の型は以下です

print(type(df_high["time_id"]))
<class 'pandas.core.series.Series'>

print(type(df_high["high"]))
<class 'numpy.ndarray'>

print(type(df_low['time_id']))
<class 'pandas.core.series.Series'>

print(type(df_low['low']))
<class 'numpy.ndarray'>

print(type(df_fin['time_id']))
<class 'pandas.core.series.Series'>

print(type(df_fin['high']))
<class 'numpy.ndarray'>

print(type(df_fin['low']))
<class 'numpy.ndarray'>

リストに対して計算が行わているのではないかと思ったのですが、具体的な原因部分と解決方法がわからず、教えて頂きたく思います。

よろしくお願いいたします。

Answer 1

問題があるのは下記の部分でしょうか。

df_high = {
    "time_id": dfData["time_id"].copy(),
    "high": dfData["high"].copy(),
}

オリジナルのソースコードではdf_highはpandasのDataFrameでしたが、上記ソースコードで辞書型に変わっています。そのためlen(df_high)は常に2を返すため、以下のwhileループは実行されていません。

while len(df_high) > 3:
    ...

Comments

[666_paru]

確認したところ、確かにwhileは実行されない状態でした。
また、実行されてもdf_high.locでエラーになり進めないことがわかりました。

今後dfでならできることも多そうなので、dfをそのまま使うよう調整しようと思います。
ありがとうございました。