jenkins テスト自動化について

Question

Jenkinsを導入することでテストを自動化し、工数の削減を測ろうと考えています。
導入するにあたって、色々なサイトにて調べていたところ、
ビルドの作成自体がかなり職人的な作業であるとのことでした。
そうなると、例えテストを自動化することができたとしても、
ビルドを作成すること自体に工数をとられてしまい、
結果的に全体の工数の増加を招いてしまうのではないかと危惧しています。
実際にJenkinsにてテストの自動化をはかり、運用されている方がいらっしゃいましたら、

・内容にもよるとは思いますが、ビルドを作成するのにそれなりに時間を要するのか
・ビルドの作成を行っても全体の工数は減らすことができたのか

等のお話を聞かせていただけると幸いです。
よろしくお願いいたします。

Answer 1

2015年頃、同じコードベースを持ち、UIのみが異なる、複数のサイト向けに、Jenkinsでビルドと自動テストをデイリーで走らせるPJを行っていましたので、その際の情報を引き合いにお伝えできればと思います

なお、ビルド対象となるアプリの開発言語は、Java（Spring Framework）で、自動テストはJunitと、画面テストケースか（Excel）からWebDriverベースの自動テストを生成するカスタムテスティングフレームワークでした

・内容にもよるとは思いますが、ビルドを作成するのにそれなりに時間を要するのか

定時実行されるビルド自体は、シンプルなMavenビルドを呼び出すだけだったため、それほど職人的な作業ではありませんでした

同じく定時実行の自動テストも同様です

トリッキーな作業になり得そうなのは、ライブラリの依存関係を含む、先行関係があるようなビルドが発生する場合でしょうか

ここも、NEXUSを使うと、比較的ラクになります
https://terasolunaorg.github.io/guideline/public_review/Appendix/Nexus.html

・ビルドの作成を行っても全体の工数は減らすことができたのか

これは、間違いなく「はい」ですね

自動テストのカバー率次第なところはありますが、大半が自動化されているなら、毎日ビルド＋テストが勝手に繰り返され、誰かがテストを通らないコードをコミットした（もしくはテストを更新し忘れた）ときには、アラートメールで警告されるため、機能改修後やリリース前のノンデグレードテストは、テスト実施コストは、ほぼゼロ化されます

また、コードが壊れていないことで、精神的にも安心して帰れます

仮に、自動テストのカバー率が低い（もしくは無い）場合でも、Jenkinsによる定時ビルド、もしくは手動ビルドを設定することで、「いつでも気軽にビルドができる」ということ自体、テスト実施前のデプロイの心理的負担を下げる、ないしは緊急リリースが必要なシチュエーションでの安心材料になります

p.s.テストレポート形式が、JUnitレポート形式で無い場合は、レポート変換ツールを作らないといけないため、手間がかかるかも知れませんが、カスタムテスティングフレームワークでも作らない限り、この課題に遭遇することは無い、と思われます