Capybaraによるテスト中にエラーが発生したときに、追加でStepを実行したい

Question

###前提・実現したいこと
rspec+capybaraでテストを作成しています。
Scenarioでテストが完結するように記載がしたいと考えていて、実行したテストがテストをPassしていてもFailしていてもロールバックがしたいです。

###発生している問題・エラーメッセージ
例ですが、以下のようなFeatureファイルがあります。Stepは省略します。

Feature: Group作成
  Scenario: Group新規作成
    When 「A」という名前のGroup作成
    And  「A」という名前のGroup作成
    Then  Aは既に存在しますと表示される
    When 「A」という名前のGroupを削除

このとき、

Then Aは既に存在しますと表示される

が失敗した場合

When「A」というGroupを削除

は実行されないです。

###検索ワード
capybara finally
capybara ensure
rspec finally
rspec ensure
capybara 最後に実行

Capybaraのドキュメントは一通り読みましたが、私の英語力では発見できませんでした。

これを実行するためのコマンドや設定、テクニックがありましたらお教えいただければ助かります。

以上、よろしくお願いいたします。