backtrader（バックテスト）に、注文を反映させたい。

Question

実現したいこと

ここに実現したいことを箇条書きで書いてください。

• > backtrader（バックテスト）に、注文を反映させたい。

前提

エントリーロジックには、以下のように単純なものしか記載していないのですが、
バックテストを行うと、一切エントリーがされていない状態となっています。

    self.buy()
    elif self.position:
        self.sell()

実行後：
Final Portfolio Value: 100000.0
Sharpe Ratio: None
Max Drawdown: 0.0
Annual Return: OrderedDict([(datetime.datetime(2020, 2, 26, 23, 25), 0.0)])
Sharpe Ratio Analysis: OrderedDict([('sharperatio', None)])
Drawdown Analysis: AutoOrderedDict([('len', 0), ('drawdown', 0.0), ('moneydown', 0.0), ('max', AutoOrderedDict([('len', 0.0), ('drawdown', 0.0), ('moneydown', 0.0)]))])
Annual Return Analysis: OrderedDict([(datetime.datetime(2020, 2, 26, 23, 25), 0.0)])

該当のソースコード

class PandasDataFeed(btfeeds.PandasData):

    params = (
        ('datetime', -1),
        ('high', 'high'),
        ('low', 'low'),
        ('close', 'close'),
    )

    # 既存のデータフレーム 'df' に対して、NaNを含む行を削除
    df = df.dropna()

    def __init__(self):
        super(PandasDataFeed, self).__init__()

class BollingerStrategy(btStrategy):
    params = {
        'time_period_to_close': 1,
    }

    def __init__(self):
        self.first_bar = True

        self.datetime = self.datas[0].datetime
        self.high = self.datas[0].high
        self.low = self.datas[0].low
        self.close = self.datas[0].close
        self.bar_executed = 0

    def next(self):
        
        if self.first_bar:
            self.first_bar = False
            return

        self.buy()
        
        if self.position:g
            self.sell()

    def log(self, txt, dt=None):
        """ Logging function for this strategy"""
        dt = dt or self.datas[0].datetime.datetime(0)
        print('%s, %s' % (dt.isoformat(), txt))

class SafeAnnualReturn(btanalyzers.AnnualReturn):
    def start(self):
        super().start()
        self._value_start = self.strategy.broker.getvalue()

    def stop(self):
        value_start = self._value_start
        value_end = self.strategy.broker.getvalue()

        if value_start != 0.0 and len(self.strategy.datetime.array) > 0:
            annualret = (value_end / value_start) - 1.0
            if len(self.rets) > 0:
                self.rets[self.strategy.datetime.datetime(-1)] = annualret
            else:
                self.rets[self.strategy.datetime.datetime(-1)] = annualret
        else:
            if len(self.strategy.datetime.array) > 0:
                self.rets[self.strategy.datetime.datetime(-1)] = 0.0
            else:
                self.rets[self.strategy.datetime.datetime(-1)] = 0.0

    def get_analysis(self):
        return self.rets
            
# バックテストの実行と評価
# Cerebroエンジンの初期化
cerebro = bt.Cerebro()

# データフィードの追加
data_feed = PandasDataFeed(dataname=df)
cerebro.adddata(data_feed)

# 戦略の追加
cerebro.addstrategy(BollingerStrategy)

# 分析機能の追加
cerebro.addanalyzer(btanalyzers.SharpeRatio, _name='sharpe_ratio')
cerebro.addanalyzer(btanalyzers.DrawDown, _name='drawdown')
cerebro.addanalyzer(SafeAnnualReturn, _name='annual_return')
cerebro.addanalyzer(btanalyzers.SharpeRatio, _name='mySharpeRatio')

# 初期資本の設定
cerebro.broker.setcash(100000.0)
cerebro.addsizer(bt.sizers.FixedSize, stake=1)

# バックテストの実行
results = cerebro.run()

# 分析結果の取得
sharpe_ratio = results[0].analyzers.sharpe_ratio.get_analysis()['sharperatio']
drawdown = results[0].analyzers.drawdown.get_analysis()
annual_return = results[0].analyzers.annual_return.get_analysis()

# 最終資産額と分析結果の表示
print('Final Portfolio Value:', cerebro.broker.getvalue())
print('Sharpe Ratio:', sharpe_ratio)
print('Max Drawdown:', drawdown['max']['drawdown'])
print('Annual Return:', annual_return)

#results変数を確認し、異常な値が含まれているかどうかをチェック
print("Sharpe Ratio Analysis:", results[0].analyzers.sharpe_ratio.get_analysis())
print("Drawdown Analysis:", results[0].analyzers.drawdown.get_analysis())
print("Annual Return Analysis:", results[0].analyzers.annual_return.get_analysis())

# プロットの設定
plt.style.use('seaborn-whitegrid')
matplotlib.rcParams.update({'font.size': 8})
fig, ax1 = plt.subplots(figsize=(12, 6))

# バックテストの結果をプロット
cerebro.plot(iplot=False, ax=ax1)

# プロットの保存
plt.savefig("backtest_results.png", dpi=300, bbox_inches='tight')

# 結果をファイルに保存
with open("backtest_results.txt", "w") as f:
    f.write("Final Portfolio Value: {}\n".format(cerebro.broker.getvalue()))
    f.write("Sharpe Ratio: {}\n".format(sharpe_ratio))
    f.write("Max Drawdown: {}\n".format(drawdown['max']['drawdown']))
    f.write("Annual Return: {}\n".format(annual_return))
    f.write("\n")
    f.write("Sharpe Ratio Analysis: {}\n".format(results[0].analyzers.sharpe_ratio.get_analysis()))
    f.write("Drawdown Analysis: {}\n".format(results[0].analyzers.drawdown.get_analysis()))
    f.write("Annual Return Analysis: {}\n".format(results[0].analyzers.annual_return.get_analysis()))

# バックテスト結果の詳細を表示
print("Strategy analysis:")
for k, v in results[0].analyzers.items():
    print("  {}: {}".format(k, v.get_analysis()))

print("Backtest completed successfully.")

試したこと

データに欠損値がないことは確認し、欠損値があれば行ごと削除するという前処理は実行しています。
df上のデータ、計算後のデータもprintで確認し問題はありませんでした。

補足情報（FW/ツールのバージョンなど）

windows11

Comments

[KEMONO_PANTSU_k]

Backtraderは使ったことがないのですが、
どのあたりを見てみたら良いのかといった点で
コメントしてみますね。

わからないですが、
注文を出しているけれども、
口座残高に変化がないのでしたら、
注文が約定されていないのかなと思いました。
＊Backtraderの新規約定と決済約定の区別があるのかどうかもわからないですが・・

> 約定　（やくじょう）
> 約定とは、株式取引などの売買が成立することをいいます。
> https://www.smbcnikko.co.jp/terms/japan/ya/J0059.html

ストラテジーのnotify_orderメソッドで
約定の情報が取れるみたいですので、
このメソッドにログなどを埋め込んで確認してみたらいかがでしょうか。

それから、
バックテストしている銘柄と、
Backtraderで扱う単位の関係がわからないのですが、
注文を出して、それが成立するだけの取引数量になっていますでしょうか？
円単位？ドル単位？かわからないのですが、
口座残高が不足していたら約定しないのかな？と思いました。

もしQuickstartを試していないで、質問欄のコードを書き始めているのでしたら、
まずQuickstart Guideの次の内容を見て、実際に試してみる方が解決が早いかもしれませんね。

Adding some Logic to the Strategy
Do not only buy … but SELL
https://www.backtrader.com/docu/quickstart/quickstart/#adding-some-logic-to-the-strategy

Answer 1

皆さん、先日はMarginErrorについての質問に対して
たくさんのアドバイスをいただきありがとうございました。

その後、自己解決することができましたので、経過を共有させていただきます。

当初、成り行き注文でMarginErrorが発生していましたが、
指値注文に変更したところ、エラーが解消されました。
具体的には、以下のように価格を指定して注文を出すことで問題が解決しました。

if not self.position:
self.log('BUY CREATE, %.2f' % self.close[0])
buy_price = self.close[0]
self.order = self.buy(price=buy_price, exectype=bt.Order.Limit)
else:
self.log('SELL CREATE, %.2f' % self.close[0])
sell_price = self.close[0]
self.order = self.sell(price=sell_price, exectype=bt.Order.Limit)

原因はまだ完全には把握できていませんが、
価格を指定したことが何らかの形でMarginErrorを回避できたようです。

再度、皆さんのご支援に感謝いたします。今後ともよろしくお願いいたします。

Answer 2

注文されたことは確認できてますでしょうか？
恐らくbuyしたあとにsellしてるので損益が発生していないのかもしれません

Comments

[kyaru]

ご連絡ありがとうございます。

以下のように対策を行いましたが状況が変わず困っています。
1.self.buy()の後にprint("market_buy")を追加しましたが、ログには出力されました。
2.ロングポジションを取った後にsellにならないように条件を付けました。
3.2を実行した際、self.log("Closing long position")が出力されませんでした。
4.終了時にポジションを解消するコード（def stop）を追加しました。

# ポジションがない場合、新しいポジションを作成
self.buy()
print("market_buy")

# ロングポジションがある場合
if self.position.size > 0:
# 経過時間が指定された時間を超えた場合、ポジションを閉じる
if (len(self) - self.bar_executed >= self.p.time_period_to_close):
self.log("Closing long position")
self.sell()

def stop(self):
# ポジションがある場合、ポジションを閉じる
if self.position.size > 0:
self.log("Closing long position on stop")
self.sell()
elif self.position.size < 0:
self.log("Closing short position on stop")
self.buy()

上記の1〜4を試しましたが、
バックテストの結果には注文した結果が反映されませんでした。（上記前提の、「実行後」のコードと変わらない結果が出ました。）
何か解決策があれば、教えていただけますでしょうか。
よろしくお願いいたします。

[a.‫com]

約定するとnotify_tradeがコールされますのでそこでログを出力してみては？

[kyaru]

早速のご連絡ありがとうございます。
以下のコードを追加したのですが、約定データが表示されませんでした。

def notify_order(self, order):

if order.status in [order.Completed]:
if order.isbuy():
self.log(f"BUY EXECUTED, Price: {order.executed.price:.2f}, Cost: {order.executed.value:.2f}, Comm: {order.executed.comm:.2f}")
self.bar_executed = len(self)
else: # Sell
self.log(f"SELL EXECUTED, Price: {order.executed.price:.2f}, Cost: {order.executed.value:.2f}, Comm: {order.executed.comm:.2f}")

def notify_trade(self, trade):
if not trade.isclosed:
return

self.log(f"OPERATION PROFIT, GROSS: {trade.pnl:.2f}, NET: {trade.pnlcomm:.2f}")

確認するべき項目として、以下があると思いますが、困っています。
・next() 関数内で買い注文（self.buy()）や売り注文（self.sell()）が実行されているか。
　→self.buy()のみにしても約定されないので困っています。
・データが正しく設定されているか。
　→欠損値もなくしているので設定できているとは思いますが。。。

[a.‫com]

約定されないということはnotify_orderでstatusがrejectなのでしょうか？

[kyaru]

お世話になっております。

ご連絡遅くなり、申し訳ございません。

notify_orderについては、以下のように書き換えたのですが、
ログには、marginと出ました。
size=1、cashも10億で設定しているので、エラーが出るのはおかしいです。

【コード】
①
def notify_order(self, order):
if order.status in [order.Submitted, order.Accepted]:
return
if order.status in [order.Completed]:
if order.isbuy():
self.log(f"BUY EXECUTED, Price: {order.executed.price:.2f}, Cost: {order.executed.value:.2f}, Comm: {order.executed.comm:.2f}")
self.bar_executed = len(self)
else: # Sell
self.log(f"SELL EXECUTED, Price: {order.executed.price:.2f}, Cost: {order.executed.value:.2f}, Comm: {order.executed.comm:.2f}")
elif order.status in [order.Canceled, order.Margin, order.Rejected]:
self.log(f"Order {order.Status[order.status]}")
②
if self.position.size == 0:
self.buy(size=1)
self.log('Buy order sent')
elif self.position.size > 0:
self.sell(size=1)
self.log('Sell order sent')

⓷
cerebro.broker.setcash(10000000000.0)

【ログ】
2020-02-26T23:24:00, Order Margin
2020-02-26T23:24:00, Next called
2020-02-26T23:24:00, Sell order sent
2020-02-26T23:25:00, Order Margin

補足：
その他初期設定は以下のようにしています。
cerebro.broker.setcash(10000000000.0)
cerebro.addsizer(bt.sizers.FixedSize, stake=1)
cerebro.broker.setcommission(commission=0.001, margin=10.0)

アドバイス、解決策いただけますと幸いです。

[a.‫com]

statusがMarginなのでcashを超える大きな値がデータフィードに設定されているんじゃないでしょうか？
notify_orderの最初でorderの中身をログに出力すれば良いのではないでしょうか

[kyaru]

ありがとうございます。
以下のようにorderの中身を出すように追記しました。
オーダーサイズが -1 であり、ポジションが 1 であるのにmarginなのが分かりません・・・

追記内容：
def notify_order(self, order):
# 注文の状況を表示
print(f"Order: Ref: {order.ref}, Status: {order.getstatusname()}, Size: {order.size}, Price: {order.price}, Position: {self.position}")

ログ：
Order: Ref: 82045, Status: Margin, Size: -1, Price: None, Position: --- Position Begin
- Size: 1
- Price: nan
- Price orig: 0.0
- Closed: 0
- Opened: 1
- Adjbase: 4257739.0
--- Position End