RSpecモデルテストの超基礎 どの参考書にもこう書いてあるが、これはダメなような気がする

Question

deviseをデフォルトが状態（emailとpasswordのみ）で使っているアプリのテストです。
ユーザー登録のテストを考えていて、factorybotを使わない状態でのテスト方法に疑問です。
「Everyday Rails - RSpecによるRailsテスト入門」などを参考にしています。

GitHub　→　https://github.com/annaPanda8170/minimum_rails_application/tree/%E3%80%8CEverydayRails-RSpec%E3%81%AB%E3%82%88%E3%82%8BRails%E3%83%86%E3%82%B9%E3%83%88%E5%85%A5%E9%96%80%E3%80%8D%E8%B3%AA%E5%95%8F%E7%94%A8

require 'rails_helper'

RSpec.describe User, type: :model do
  it "ok" do
    user = User.new(email: "a@a", password: "111111", password_confirmation: "111111")
    expect(user).to be_valid
  end


  it "ng1" do
    user = User.new(email: "a@@a")
    user.valid?
    expect(user.errors[:email]).to include("is invalid")
  end




  it "ng2" do
    user = User.new(email: "a@@a")
    user.valid?
    expect(user.errors[:password]).to include("can't be blank")
  end
end

factorybotであれば、一度ユーザーを作って変更したい部分のみを再代入する方法が有効であると思いますが、上のようにfactorybotを使わないでnew変数を使う場合別のインスタンスが作られるので、"ng1"の中のuser = User.new(email: "a@@a")と、"ok"の中のuser = User.new(email: "a@a", password: "111111", password_confirmation: "111111")は関連がなく、"ng1"と"ng2"のuser = User.new(email: "a@@a")ではpasswordはただただ入力がなされてないものであるので、"ng2"も通ります。

これはテストとして正当なのでしょうか？

先輩方意見をお願いいたします。

Answer 1

「Everyday Rails - RSpecによるRailsテスト入門」を読んでいただき、どうもありがとうございます。
さっそく回答しようと思うのですが、すいません、僕はそもそも、載せていただいたテストコードに関してご質問の内容と直結しない部分が一番気になりました。
具体的には以下の3点です。

• a@a というのがまずありえないメールアドレスなので、正しいメールアドレスに見えない
• it "ng1"やit "ng2"では第三者から見て、いったい何をテストしようとしているのかわからない
• もし「メールアドレスが不正ない場合」を検証したいのであれば、それ以外の項目（ここではパスワード）を正常にした方がテストの意図が伝わりやすい

というわけで、僕だったらこんなふうにテストを書きます。
（コメントは僕からの補足説明です）

require 'rails_helper'

RSpec.describe User, type: :model do
  # itの説明を詳しく書く
  it "全項目が正常なので検証エラーが起きない" do
    # メールアドレスをある程度リアルなものにする
    user = User.new(email: "[e-mail]", password: "111111", password_confirmation: "111111")
    expect(user).to be_valid
  end

  it "メールアドレスが不正なので検証エラーになる" do
    # メールアドレスだけ不正な状態にして、パスワードは正常にする
    user = User.new(email: "alice@@example.com", password: "111111", password_confirmation: "111111")
    user.valid?
    expect(user.errors[:email]).to include("is invalid")
  end

  it "パスワードが未入力なので検証エラーになる" do
    # パスワードだけ未入力にして、メールアドレスは正常にする
    user = User.new(email: "[e-mail]")
    user.valid?
    expect(user.errors[:password]).to include("can't be blank")
  end
end

このようなテストであれば大きな問題はないと思います。
（各テストのuserに関連があるかどうかは特に気になりません）

ちなみに、これは応用編になりますが、以下のようなポイントを押さえれば、よりRSpecらしいテストになります。

• 検証したい処理（ここではvalidation）をdescribeブロックで囲む
• 「もし〜の場合」に当たる部分をcontextで表現する
• letを活用して、重複を無くす

具体的にはこんな感じです。

require 'rails_helper'

RSpec.describe User, type: :model do
  describe 'validation' do
    let(:user) do
      User.new(email: email, password: password, password_confirmation: password)
    end

    context '全項目が正常な場合' do
      let(:email) { "[e-mail]" }
      let(:password) { "111111" }
      it "検証エラーが起きない" do
        expect(user).to be_valid
      end
    end

    context 'メールアドレスが不正な場合' do
      let(:email) { "alice@@example.com" }
      let(:password) { "111111" }
      it "検証エラーになる" do
        user.valid?
        expect(user.errors[:email]).to include("is invalid")
      end
    end

    context 'パスワードが未入力の場合' do
      let(:email) { "[e-mail]" }
      let(:password) { nil }
      it "検証エラーになる" do
        user.valid?
        expect(user.errors[:password]).to include("can't be blank")
      end
    end
  end
end

contextやletといった構文の説明はすべてEveryday Railsの中で説明しているはずですので、本書を参照してください。

とはいえ、「RSpecらしさ」を追求すると沼にはまってしまうというか、「RSpecのいろんな機能を使いまくりたい！！」という変な欲求に駆られがちになるので、個人的には一つ前のコードでも十分じゃないかなーと思います。

以上のような回答で参考になるでしょうか？
もし解決していない疑問点があればコメントしてください。

追記

first_name以外の入力がなされていないことに不満を持っています

たしかにEveryday Railsのコード例はfirst_name: nil以外の項目が未入力ですね。
それ以外の項目はちゃんと入力されていてfirst_nameだけが未入力、の方が「意図が伝わりやすい」という意味でベターです。
ですが、expect(user.errors[:first_name]).to_not include("can't be blank")という形で「first_nameが未入力なら検証エラーになること」を担保できているので、テストの機能的には問題ない気がします。

Comments

[annaPanda]

a@aについて
あくまで私はdeviseがかけている制限、`config/initializers/devise.rb`に書いてある、`config.email_regexp = /\A[^@\s]+@[^@\s]+\z/`を元にそれを満たす最低限のものを考えてa@aとしています。実際a@aで問題なく登録できます。

"ng1"や "ng2"について
こちらはすみません、完成した段階で他人でもわかるように整えるつもりでした。

そして、書いてくださった一つ目のテストは十分に納得がいきます。"メールアドレスが不正なので検証エラーになる"において、passwordも入力があるからです。

ただ、Everyday Rails - RSpecによるRailsテスト入門において、(ページ数がないので指定がしにくいですが)
```
# 名がなければ無効な状態であること
2 it "is invalid without a first name" do
3 user = User.new(first_name: nil)
4 user.valid?
5 expect(user.errors[:first_name]).to include("can't be blank")
6 end
```
の部分にfirst_name以外の入力がなされていないことに不満を持っています。

[annaPanda]

私が感じたことは、first_name: nil以外の未収力項目があると、expect(user.errors[:first_name]).to_not include("can't be blank")で検証エラーが取れる理由が、first_nameが未入力であると特定できないということでした。（もちろん常識的に考えればそうですし、user.errors[:???]にfirst_nameを代入しているのもわかっています。でも論理的には特定できていません。）
エラー原因を正確に特定するには、エラーのない状態から、一手一手変えていって、エラーを集めていくしかないと考えていたので、違和感を覚えました。
でもお話を聞いている限りだと、一般的にはコードテストにおいてそう言った思想はないようですね。。
このことを一文で示すと「コードテストにおいては、エラーの十分条件を示す必要はなく、必要条件のみを示せばよい」ということですかね。
初学者が生意気に失礼いたしました。

Answer 2

"ng1"の中の（中略）と"ok"の中の（中略）は関連がなく

はい、それは意図したものです。各it間は、むしろ関連があってはいけません（テスト順に依存する、不適当なテストとなります）。

passwordはただただ入力がなされてないものであるので、"ng2"も通ります。

はい、パスワードが入力されていないので、エラーメッセージが生成されて、「パスワードがないエラーメッセージが存在する」というテストを通過します。

これはテストとして正当なのでしょうか？

たしかに、必要以上にバリデーションに引っかかるのは気になるので、「ng1ではパスワードを指定する」「ng2では正しいメールアドレスを指定する」はしたほうがいいかもしれません。ただ、今のままでもテストとして動作に問題はありません。

Comments

[maisumakun]

もっとも、「特定のエラーメッセージが存在することをチェックする」というのはロケール変更などに弱いです。

チェックしたい内容によっては「当該列のエラーメッセージが存在するかどうかチェックする」あるいは「当該列以外はすべてvalidになるようにデータを埋めて、全体がinvalidになるかを見る」ほうが適当かもしれません。

[annaPanda]

回答ありがとうございます。

例えば上掲のテキストでは、
last nameが入力必須になっていて、
```
it "is invalid without a last name" do
user = User.new(last_name: nil)
user.valid?
expect(user.errors[:last_name]).to include("can't be blank")
end
```
このようにテストしているのですが、
基本的にテストは対照実験(項目一つだけを変更しての比較実験)でないと意味がないと思います。
つまり、上の私が書いたテストも含めて、ただエラーが出ないだけのテストとして価値がないもののように感じるのですが、いかがでしょうか？

[maisumakun]

> 基本的にテストは対照実験(項目一つだけを変更しての比較実験)でないと意味がないと思います。

その考え方は、おそらく一般的ではありません。

> ただエラーが出ないだけのテストとして価値がないもののように感じるのですが

ただテストを書くのではなく、「フェイルファースト」でやってみるとまた違う気はします。

[annaPanda]

> その考え方は、おそらく一般的ではありません。
なるほど、この前提に齟齬があったんですね。別意見も少し待ってみます。
> フェイルファースト
まずバリデーションに引っかかるパタンを挙げていくって感じですか？