unittestのテスト項目の動的追加はどうやればよいでしょうか

Question

###質問
unittestのテストクラスへテスト項目を動的に追加したく思っております。
やりたいこととしては、テストクラス外のデータを元にしてテスト項目を増減させたいのです。
（こういう行為は、unittestにふさわしくない考え方かもしれないですが・・・）

簡単には、テストクラス内のメソッド
(def test_1(self),def test_2(self)....)をテスト実行時に動的に追加する、というイメージです。
こういった場合、どういった方法が取れるでしょうか？

###試したこと
手段を調べる良いキーワードが思いつかず、結局泥臭いやり方しか分かりませんでした。

• execによる文字列からの動的な関数の生成
• Monkey_patchによるテストクラスへのテストメソッドの注入

特にexecで文字列を関数化している部分は、もっと他にやり方あるだろ！と感じておりますが、分かりませんでした。
うまいやり方をご存じの方にご教示願いたいです。

泥臭いやり方で実装したコードはこれです。ユニットテストの実行前にテストメソッドを10個追加します。

import unittest

class TestMyTest(unittest.TestCase):

    def setUp(self):
        pass

    def tearDown(self):
        pass

    def test_origin(self):
        self.assertEqual("test_1","test_1")

if __name__ == "__main__":
    for i in range(10):
        name = "test_func" + str(i)

        #文字として関数定義を書き起こす / 変数から名称を作れる
        str_for_exec = "def {0}(self): self.assertEqual('{0}','{0}')".format(name)
        exec(str_for_exec)  # 関数が定義された
        
        #テストクラスへ注入する
        str_monkey_patch = "TestMyTest.{0} = {1}".format(name, name)
        exec(str_monkey_patch)

    unittest.main()

泥臭いながらunittestは想定通り動き、パスしました。

#実行結果
...........
----------------------------------------------------------------------
Ran 11 tests in 0.000s

OK

Answer 1

やりたいことは恐らく "データ駆動テスト" (Data-Driven Testing) が該当すると思います。

テスト内容が同じような処理であれば、テストケースを増やす必要はなく、
テストするデータのみを増やせばいいので、簡単なものであれば
繰り返し文の中で assert するだけです。

def generateTestData():
    # ここで assert に渡す引数をデータ元から生成します。
    # ジェネレータにすると便利です。
    yield 1+1, 2, "add"
    yield 1-1, 0, "sub"
    yield 1*1, 1, "mul"


for first, second, msg in generateTestData():
    self.assertEquals(first, second, msg)

注意点は、失敗した時にどのデータセットで失敗したのかログから分かるように、第三引数をセットします。
同じデータを元に複数のテストにかける場合は、setUp 内で生成する等、工夫してください。

動的に生成する方法は、特に exec(文字列) はお勧めしません。
エラーで行番号等を報告されても、ソースは動的に生成した文字の中、
手間がかかりデバッグが困難になります。

Comments

[teamikl]

追記: 標準ライブラリの unittest に、動的にテスト生成を支援してくれる関数がありました。
これ読んで思いましたが、for でデータを回すだけでは不十分でしたね。

http://docs.python.jp/3/library/unittest.html#subtests

> 26.4.7. サブテストを利用して繰り返しテストの区別を付ける
> バージョン 3.4 で追加.

> パラメータの値しか違わないような小さな差しかない複数テストを書きたい場合に、
> コンテキストマネージャ subTest() を使うことで、
> 複数の独立したテストのように扱われるテストを一つのメソッド本体内で書くことが出来ます。

...

> サブテスト無しの場合、最初の失敗で実行は停止し、i の値が表示されないためエラーの原因を突き止めるのは困難になります:

[uni8inu]

ありがとうございます！めちゃめちゃキレイに書けました。pythonさいこうです。
ジェネレーターは殆ど使ったことなかったのですが、
テストデータのパターン入力時に、非常に強力に働きますね。これは使っていきたい技術です。
重ねて感謝したいます。

[uni8inu]

コメントしたら、コメントが増えてました！
アドバイス、感謝いたします。追記部分について、確認いたします。