Rails:RSpec ファイル指定の時のみテストが失敗する

Question

環境

Amazon Linux AMI release 2018.03
ruby 2.6.3p62 (2019-04-16 revision 67580) [x86_64-linux]
Rails 5.1.7
rspec-rails 3.8.2
capybara 3.29.0
factory_bot_rails 5.0.2
selenium-webdriver 3.142.4

前提・実現したいこと

Railsチュートリアル（第四版）の2週目を進めている最中で、テストにはRSpecを使用しています。

過去にチュートリアルではRSpecを使っていた（第二版）ので、参考がてら時々そちらも見ています。

8章を終えて、テストを実行するとファイル指定の時のみなぜかテストが失敗してしまいます。

調べてみても解決できなかったため、ご教示ください。

発生している問題・エラーメッセージ

フォルダを指定して、テストを一括で実行すると全部通ります。

$ bundle exec rspec spec
.......................................................

Finished in 11.02 seconds (files took 1.97 seconds to load)
55 examples, 0 failures

---

しかし、あるファイルspec/system/sessions_spec.rbを指定してテストを実行すると失敗します。

他のファイルも指定して実行したのですが、こちらの方は全部成功しました。つまり、sessions_spec.rbの時のみ失敗するようです。

ソースコードをコメントアウトして一括テストしてみるとexamplesの数が減っていたので、ちゃんと拾えてはいると考えています。

$ bundle exec rspec spec/system/sessions_spec.rb 
FFFFFFFFF

Failures:

  1) Authentication signin page 
     Failure/Error: before { visit login_path }
     
     NameError:
       undefined local variable or method `login_path' for #<RSpec::ExampleGroups::Authentication::SigninPage:0x0000000001abd168>
     # ./spec/system/sessions_spec.rb:8:in `block (3 levels) in <top (required)>'

(~略~)

---

後述するソースコードのvisit login_pathをvisit '/login'に書き換えたところ、やはりファイル指定の場合のみテストが失敗し、次のようなエラーコードが出ました。

それからArgumentError: rack-test requires a rack application, but none was givenについて調べてみたのですが、結局解決できず質問させていただく形となりました。

$ bundle exec rspec spec/system/sessions_spec.rb 
FFFFFFFFF

Failures:

  1) Authentication signin page 
     Got 0 failures and 2 other errors:

     1.1) Failure/Error: before { visit '/login' }
          
          ArgumentError:
            rack-test requires a rack application, but none was given
          # /home/ec2-user/.rvm/gems/ruby-2.6.3/gems/capybara-3.29.0/lib/capybara/rack_test/driver.rb:18:in `initialize'
          # /home/ec2-user/.rvm/gems/ruby-2.6.3/gems/capybara-3.29.0/lib/capybara/registrations/drivers.rb:4:in `new'
          # /home/ec2-user/.rvm/gems/ruby-2.6.3/gems/capybara-3.29.0/lib/capybara/registrations/drivers.rb:4:in `block in <top (required)>'
          # /home/ec2-user/.rvm/gems/ruby-2.6.3/gems/capybara-3.29.0/lib/capybara/session.rb:102:in `driver'
          # /home/ec2-user/.rvm/gems/ruby-2.6.3/gems/capybara-3.29.0/lib/capybara/session.rb:276:in `visit'
          # /home/ec2-user/.rvm/gems/ruby-2.6.3/gems/capybara-3.29.0/lib/capybara/dsl.rb:51:in `block (2 levels) in <module:DSL>'
          # ./spec/system/sessions_spec.rb:8:in `block (3 levels) in <top (required)>'

(~略~)

該当のソースコード

config/routes.rb

Rails.application.routes.draw do

  ~(略)~  

  # Sessions
  get '/login',     to: 'sessions#new'
  post '/login',    to: 'sessions#create'
  delete '/logout', to: 'sessions#destroy'
end

spec/rails_spec.rb

require 'capybara/rspec'

RSpec.configure do |config|

  config.before(:each, type: :system) do
    driven_by :selenium_chrome_headless
  end

  config.include Capybara::DSL
  config.expect_with :rspec do |expectations|
    expectations.include_chain_clauses_in_custom_matcher_descriptions = true
  end

  config.mock_with :rspec do |mocks|
    mocks.verify_partial_doubles = true
  end

  config.shared_context_metadata_behavior = :apply_to_host_groups

end

app/controllers/sessions_controller.rb

class SessionsController < ApplicationController
  def new
  end
  
  def create
    user = User.find_by(email: params[:session][:email].downcase)
    if user && user.authenticate(params[:session][:password])
      log_in(user)
      redirect_to user
    else
      flash.now[:danger] = 'Invalid email/password combination'
      render 'new'
    end
  end
  
  def destroy
    log_out
    redirect_to root_url
  end
end

spec/system/sessions_spec.rb

require 'spec_helper'

describe "Authentication" do

  subject { page }
  
  describe "signin page" do
    before { visit '/login' }
    
    it { should have_title('Log in') }
    it { should have_content('Log in') }
  end
  
  describe "login" do
  before { visit login_path }
  
    context "with invalid information" do
      before { click_button('Log in') }

      it { should have_title('Log in') }
      it { should have_selector('div.alert.alert-danger', text: 'Invalid') }
      
      context "when reload" do
        before { visit login_path }

        it { should_not have_selector('div.alert.alert-danger', text: 'Invalid') }
      end
      ~(略)~
    end
  end
end

Comments

[winterboum]

単独だとFとか単独ならOKとか有るのは、他のテストの後始末が不完全で、その影響を受けていることが多いです。
一緒に実行するテストを二分法で切り分けると、副作用を残すテストが見えてくるかと。
そのテストの副作用が何なのかを掴めば通るテストを書けるように。

[holly0819]

情報ありがとうございます。

頂いたアドバイスの通りやってみると、なんとか解決することができました！

sessions_spec.rbの1行目がrequire 'rails_helper'ではなく、require 'spec_helper'となっているのが問題でした・・・。

どんなテストファイルでも同時に実行するとOKが出たので、試しに空のファイルと一緒に実行してみるとエラー発生となり、ようやくこのミスに気づけました。

winterboumさんのアドバイスのおかげでスッキリできました。ありがとうございます。

Answer 1

先に結論

頂いたアドバイスをもとに試行錯誤した結果、spec/system/sessions_spec.rbの1行目 require 'spec_helper'をrequire 'rails_helper'に書き換えたら直りました。

最初にrequireするファイルを間違えていたようです・・・。

どうやらrequireなどは他のテストにも引き継いでいるようで、複数のテストを同時に実行するときだけうまく行っていたようです。

一番最初にrequire 'rails_helper'がないファイルでテストすると、このようなエラーが発生するみたいですね。

system specにはジェネレータがないようなので、こんなミスが起こってしまいました。気を付けます。

過程

単独だとFとか単独ならOKとか有るのは、他のテストの後始末が不完全で、その影響を受けていることが多いです。

一緒に実行するテストを二分法で切り分けると、副作用を残すテストが見えてくるかと。
そのテストの副作用が何なのかを掴めば通るテストを書けるように。

上記のアドバイスを頂いたので、「副作用」を残しているテストを見分けることにしました。

例
$ bundle exec rspec spec/system spec/controllers

結果、どのテストフォルダ/ファイルを指定しても、最初の引数がspec/system/sessions_spec.rb(エラーを起こすコード)ならエラーを引き起こし、それ以外ならテストが通ることがわかりました。

$ bundle exec rspec spec/system/sessions_spec.rb spec/controllers
→エラー

$ bundle exec rspec spec/controllers spec/system/sessions_spec.rb
→OK

なら、空のファイルを最初の引数に指定するとどうなるのか？と思い実行。

$ bundle exec rspec spec/system/hoge.rb spec/system/sessions_spec.rb
→エラー発生！

最初の引数がsessions_spec.rb以外にも関わらず、エラーが発生しました。

ここらへんでやっとrequire 'rails_helper'じゃなくてrequire 'spec_helper'を1行目に書くのだと気づき、修正。単独で実行しても成功するようになりました。

$ bundle exec rspec spec/system/
.....................

Finished in 7.85 seconds (files took 1.98 seconds to load)
21 examples, 0 failures