質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.77%

C1を100%にするための、テストケースの数え方

解決済

回答 2

投稿

  • 評価
  • クリップ 0
  • VIEW 1,738

umino

score 34

実現したいこと

単体試験(単体テスト、UnitTest、UT)で、「C1を100%にするためのテストケースの数え方」を知りたい。
カバレッジを取得した際に「C1が100%になれば」それでよいです。

前提

・新人の開発エンジニアです。仕事で、単体テストを担当することになりました。プログラミング経験はほぼゼロです。

・言語はpythonで、テストフレームワーク(pytest)やC1カバレッジの取得方法(pycov)などの準備は事前に済ませています。

・テスト対象のモジュールは40ほどです。ソースを1つ開いたところ、行数が2000行ありました。
単純計算で、2000*40=80000行のソースに対してテストケースを数える必要があるようです。
 

発生している問題

上司から「C1を100%にしたい。そのためのテスト数はいくつあるか数えて」と言われました。
しかし、目検で80000行すべてのテストケースを数えるとなると、時間がかかりすぎるし、どこかで漏れが出そうです。
また、まわりに単体テスト経験者がおらず、一般的にどのような手法でテストケースを数えているか、聞くことができません。

if文のみで構成されている場合は2パターン×条件数でよいかな?という認識はあります。
しかし、例えば下記のような場合、if文はないけれど、テストケースは戻り値が0か-1の、2つになると思います。

def piyo(foo,bar):
    ret = 0
    fuga = "hogehoge"
    try:
        subprocess.call(fuga, shell=True)
    except Exception as e:
        ret = -1

    return ret


これらのようなテストケースを、すべて目検で拾うことが大変かなと、なにか効率よく数える方法はないかなと模索しているところです。

単体テストで、「C1が100%になるようなテストケースの数え方」について、よい手法を知りたいので、
知見のある方、お知恵を貸していただけませんでしょうか。

一発で済む魔法はないと思うのですが、おすすめのツールやフレームワーク、また経験談などあれば助かります...
正解がないので難しい話だとは思うのですが、よろしくおねがいします。
泥くさく、ひとつずつ数えるしかないのでしょうか?

試したこと

ググって、テストケースの数え方について調べた。(コーディングの話が多くヒットして、実務の話がうまく見つけられなかった)

補足情報(FW/ツールのバージョンなど)

python2.7
IDEはpycharmを使っています
※テスト項目数とテストケースを混同しており、他の投稿で指摘していただいたため、修正して投稿し直しています。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

+1

Sonarqubeというのが、Python(Plugin)でも使えるようです。

指標にCyclomatic Complexity 循環的複雑度というのがあるのですが、言語にPythonが載ってないのですよね。。。

仮に利用できるとすれば、循環的複雑度=C1テストケース数とありますので、まぁざっくり指標は出せると思いますが・・・

そもそも、導入するのにハードル高いので新人では環境作るほうが、目視でケースを
洗い出すより大変かもしれません。

正直、1回こっきりのために環境作るのは面倒なので、あまりオススメではないですが、
機械的にやってミスをなくしたいというのと、他の言語や違う観点でソースをチェックできるので
時間が許せば、チャレンジしてみるといいと思います。

で、やはり難しいというのであれば・・・

正確性がどの程度もとめられるか、わかりませんが、ソースをキーワードで検索して、出た数だけテストケースを増やす。でも、それなりのものはわかりますね。
つまり、Sonarqubeがやってることを自前でやる感じですね。
Pythonのキーワードが何になるか、わかりませんが。

泥臭い方法であれば、分岐のない部分をバッサリきって、分岐と例外をフローチャートような形で記録するのが確実です。
※後述するツールのリンクにある「関数のフローチャート」を自作する感じ

あとは、商用のツールですかね。

追記
あぁ。私、無知だったわ。
たぶん、https://radon.readthedocs.io/en/latest/
が、Pythonだと標準なのかも。
とはいえ、質問者さんの本来の目的には沿わないっぽくて、分岐の条件とか調査するなら
泥臭いやりかたしかないですね。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/12/14 20:47

    回答ありがとうございます。

    https://radon.readthedocs.io/en/latest/intro.html
    教えていただいたページが、とても参考になりました!
    ifやwhileのほかにどのステートメントが、網羅率に影響を及ぼすか知りたかったんです。
    コードメトリクス、や、循環性、といったワードを初めて知りました。
    英語が読めず知識もないので、すべてを理解することは難しいですが、確かに知りたかったことのひとつです。
    項目数抽出の際には、参考にします。

    また、TechMatrix(商用のツール)について、このようなサービスがあることを初めて知りました。
    視認性が高くてよさそうなので、体験版を使ってみようと思います。

    大変勉強になりました。
    丁寧な回答に深く感謝します。
    ありがとうございました。

    キャンセル

check解決した方法

0

上司に相談して解決しました。

「今回のPJでは詳細設計書や関数仕様書は存在しないので、ソースコードをみながら試験項目を考えること。
数え方は、機械的に分岐数を数えるツールや手法は存在しない。
だから、ソースコードを上から見て、すべての分岐を通るテスト数を考えて、
さらに、品質向上になりそうなテストがあれば、それもプラスして試験項目数にいれること。」

とのことでした。
閲覧してくださった方々、ありがとうございました。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.77%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る