UnittestでWarningが出てしまう。

Question

現在、unittestの学習をしています。テストを行うプログラムは以下の通りです。

class Test(unittest.TestCase):
    # Test1を使ったテストケース
    def TestCase1(self):
        sys.argv.append("入力データのpath")
        expected = main()
        with open("正解データのpath") as f:
            answerData = json.load(f)
        self.assertEqual(expected, answerData)
        del sys.argv[1]

    # Test2を使ったテストケース
    def TestCase2(self):
        sys.argv.append("入力データのpath")
        expected = main()
        with open("正解データのpath") as f:
            answerData = json.load(f)
        self.assertEqual(expected, answerData)
        del sys.argv[1]

    # Test3を使ったテストケース
    def TestCase3(self):
        sys.argv.append("入力データのpath")
        expected = main()
        with open("正解データのpath") as f:
            answerData = json.load(f)
        self.assertEqual(expected, answerData)
        del sys.argv[1]

if __name__ == "__main__":
    unittest.main()

上記プログラムを実行したところ、以下のようなwarningが出てしまいます。

/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pyocr/tesseract.py:364: ResourceWarning: unclosed file <_io.BufferedReader name=4>
configs=builder.tesseract_configs)
ResourceWarning: Enable tracemalloc to get the object allocation traceback

unittest.main(warnings='ignore')
とすれば出力されなくなるのですが、根本の解決にはなってないと感じました。そこで色々しれべてみたのですが、私はテストコードを書くのが初めてで理由を見つけることができませんでした。
上記warningについての対処方法について教えていただきたいです。
よろしくお願いします。

追記
yymmt様の回答を参考にソースコードをみたところ、closeされていない箇所があったため以下の画像のようにコードを付け足しました。
tesseract.py のrun_tesseract関数

tesseract.pyのget_version関数

ただ、開発をする上でパッケージのソースコードを勝手に書き換えるとコンフリクトを起こすとあったのですが、ソースコード外でクローズすることは可能でしょうか?
わかりづらい文章となってしまい申し訳ありません。

Answer 1

pyocrと言うパッケージのソースコード tesseract.pyを確認しました。tesseractと言うコマンドをsubprocess.Popen()で呼び出していますが、stdoutを開けっ放しのままにしてcloseしていないことが原因です。pyocrの開発者に連絡を取らない限り、根本的な解決にはならないでしょう。

以下、同様のエラーを出力するソースコードです。

import unittest
import subprocess


class TestSubprocess(unittest.TestCase):
    def test_ls(self):
        proc = subprocess.Popen(
            ["ls", "-1"],
            stdout=subprocess.PIPE,
            stderr=subprocess.STDOUT,
        )
        proc.wait()
        # proc.stdout.close()  # pyocrはこれを忘れている


if __name__ == "__main__":
    unittest.main()

[追記]
ソースコード外でなんとかしたいと言うことなのでpyocrの問題箇所にモンキーパッチを充てる方法を追記します。ただしパッケージが更新した際に問題が発生すると言うことは解消されません。

import pyocr
...
def run_tesseract_monkey_patch(input_filename, output_filename_base, cwd=None, lang=None, flags=None, configs=None):
    # オリジナルのソースコードをコピペ
    pyocr.tesseract._set_environment()
    command = [
        pyocr.tesseract.TESSERACT_CMD,
        input_filename,
        output_filename_base,
    ]
    if lang is not None:
        command += ["-l", lang]
    if flags is not None:
        command += flags
    if configs is not None:
        command += configs
    proc = subprocess.Popen(
        command,
        cwd=cwd,
        startupinfo=pyocr.tesseract.g_subprocess_startup_info,
        creationflags=pyocr.tesseract.g_creation_flags,
        stdout=subprocess.PIPE,
        stderr=subprocess.STDOUT,
    )
    errors = proc.stdout.read()
    status = proc.wait()
    proc.stdout.close()
    return (status, errors)


def main():
    pyocr.tesseract.run_tesseract = run_tesseract_monkey_patch
    # get_version()も同じように上書きする
    # 以降普通に処理

Comments

[Tera0724]

回答ありがとうございます。yymmt様の助言を参考にtesseract.pyを見たところ、追記で示した箇所のprocをcloseすることでwarningは解消されました。ただ、開発する上でパッケージのソースコードを勝手にいじった場合コンフリクト等が発生するとありました。
ソースコード外でcloseすることは可能でしょうは?
コードを追った感じでは最後の出力にはなっていないため厳しいのではと思うのですが。。。
パッケージでのエラー等が出たのが初めてであるため対処法がわからない状態です。
わかりずらい質問となってしまい申し訳ありませんが、答えていただけると幸いです。
よろしくお願いします。

[yymmt]

ソースコード外で対処するのは困難です。私も警告は1行たりとも残したくない派ですのでお気持ちは理解できますが、パッケージに手を入れる事は最終手段になりますので、ユニットテストでしか発生しない警告なら放置するか、作者に修正依頼を行うのが良いでしょう。
それとは別に技術的に不可能かと言われると、tesseractと言うプログラムを見つけてシグナルを送り強制終了と言うことは不可能ではないですが、そこまでやるくらいならsubprocessを含む関数部分を全て上書きする方が現実的です。

[yymmt]

後者のsubprocess部分を上書きする方法を追記しました。get_versionも同じことをする必要があります。この方法はモンキーパッチと呼ばれます。

[Tera0724]

回答ありがとうございます。yymmt様のサンプルコードを参考にget_versionの処理も作成したところ、warningを消すことができました。
モンキーパッチについては知らなかったため学習していきます。
ありがとうございました。

Answer 2

追記

main() で pyocr というパッケージが呼び出され、
そのパッケージが警告を発しているようです

pyocr · PyPI

原因が main() 内であるかどうかの切り分け

ためしに、テストコード中の main() の呼び出し箇所を
一時的に次のように編集します:

# expected = main()
expected = {}

unittest を実行すると、
テストは失敗するかもしれませんが、警告は表示されなくなるのではないでしょうか

main() 内で pyocr 呼び出した覚えがない場合

main() 内でなんらかのパッケージが
間接的に pyocr を呼び出している可能性があります
その場合は、
次のコマンドの結果を質問欄に追記していただけるともう少し助言できるかもしれません:

pip freeze

元の回答

その書き方だと、途中でテストが失敗したとき、
ファイルが開いたままでリソースが開放されない可能性があります

        answerFile = open("正解データのpath", 'r')
        answerData = json.load(answerFile)        # ここで失敗すると
        answerFile.close()                        # この行が実行されません

次のようにすると、ファイルを開いて閉じるという面倒がなくなります

from pathlib import Path

# ～

        answerFile = Path("正解データのpath").read_text()
        answerData = json.load(answerFile)

Comments

[Tera0724]

回答ありがとうございます。調べたのですが、read_textの使い方がようくわからなかったため、withを使って書き直しました。
しかし、warningは消えませんでした。。。
出力はOKと出てくれるのですが。。。