質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.13%

UnittestでWarningが出てしまう。

解決済

回答 2

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 94

Tera0724

score 10

現在、unittestの学習をしています。テストを行うプログラムは以下の通りです。

class Test(unittest.TestCase):
    # Test1を使ったテストケース
    def TestCase1(self):
        sys.argv.append("入力データのpath")
        expected = main()
        with open("正解データのpath") as f:
            answerData = json.load(f)
        self.assertEqual(expected, answerData)
        del sys.argv[1]

    # Test2を使ったテストケース
    def TestCase2(self):
        sys.argv.append("入力データのpath")
        expected = main()
        with open("正解データのpath") as f:
            answerData = json.load(f)
        self.assertEqual(expected, answerData)
        del sys.argv[1]

    # Test3を使ったテストケース
    def TestCase3(self):
        sys.argv.append("入力データのpath")
        expected = main()
        with open("正解データのpath") as f:
            answerData = json.load(f)
        self.assertEqual(expected, answerData)
        del sys.argv[1]

if __name__ == "__main__":
    unittest.main()


上記プログラムを実行したところ、以下のようなwarningが出てしまいます。

/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pyocr/tesseract.py:364: ResourceWarning: unclosed file <_io.BufferedReader name=4>
configs=builder.tesseract_configs)
ResourceWarning: Enable tracemalloc to get the object allocation traceback

unittest.main(warnings='ignore')
とすれば出力されなくなるのですが、根本の解決にはなってないと感じました。そこで色々しれべてみたのですが、私はテストコードを書くのが初めてで理由を見つけることができませんでした。
上記warningについての対処方法について教えていただきたいです。
よろしくお願いします。

追記
yymmt様の回答を参考にソースコードをみたところ、closeされていない箇所があったため以下の画像のようにコードを付け足しました。
tesseract.py のrun_tesseract関数
イメージ説明

tesseract.pyのget_version関数
イメージ説明

ただ、開発をする上でパッケージのソースコードを勝手に書き換えるとコンフリクトを起こすとあったのですが、ソースコード外でクローズすることは可能でしょうか?
わかりづらい文章となってしまい申し訳ありません。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

+2

pyocrと言うパッケージのソースコード tesseract.pyを確認しました。tesseractと言うコマンドをsubprocess.Popen()で呼び出していますが、stdoutを開けっ放しのままにしてcloseしていないことが原因です。pyocrの開発者に連絡を取らない限り、根本的な解決にはならないでしょう。

以下、同様のエラーを出力するソースコードです。

import unittest
import subprocess


class TestSubprocess(unittest.TestCase):
    def test_ls(self):
        proc = subprocess.Popen(
            ["ls", "-1"],
            stdout=subprocess.PIPE,
            stderr=subprocess.STDOUT,
        )
        proc.wait()
        # proc.stdout.close()  # pyocrはこれを忘れている


if __name__ == "__main__":
    unittest.main()

[追記]
ソースコード外でなんとかしたいと言うことなのでpyocrの問題箇所にモンキーパッチを充てる方法を追記します。ただしパッケージが更新した際に問題が発生すると言うことは解消されません。

import pyocr
...
def run_tesseract_monkey_patch(input_filename, output_filename_base, cwd=None, lang=None, flags=None, configs=None):
    # オリジナルのソースコードをコピペ
    pyocr.tesseract._set_environment()
    command = [
        pyocr.tesseract.TESSERACT_CMD,
        input_filename,
        output_filename_base,
    ]
    if lang is not None:
        command += ["-l", lang]
    if flags is not None:
        command += flags
    if configs is not None:
        command += configs
    proc = subprocess.Popen(
        command,
        cwd=cwd,
        startupinfo=pyocr.tesseract.g_subprocess_startup_info,
        creationflags=pyocr.tesseract.g_creation_flags,
        stdout=subprocess.PIPE,
        stderr=subprocess.STDOUT,
    )
    errors = proc.stdout.read()
    status = proc.wait()
    proc.stdout.close()
    return (status, errors)


def main():
    pyocr.tesseract.run_tesseract = run_tesseract_monkey_patch
    # get_version()も同じように上書きする
    # 以降普通に処理

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/07/01 12:25

    回答ありがとうございます。yymmt様の助言を参考にtesseract.pyを見たところ、追記で示した箇所のprocをcloseすることでwarningは解消されました。ただ、開発する上でパッケージのソースコードを勝手にいじった場合コンフリクト等が発生するとありました。
    ソースコード外でcloseすることは可能でしょうは?
    コードを追った感じでは最後の出力にはなっていないため厳しいのではと思うのですが。。。
    パッケージでのエラー等が出たのが初めてであるため対処法がわからない状態です。
    わかりずらい質問となってしまい申し訳ありませんが、答えていただけると幸いです。
    よろしくお願いします。

    キャンセル

  • 2020/07/01 12:42 編集

    ソースコード外で対処するのは困難です。私も警告は1行たりとも残したくない派ですのでお気持ちは理解できますが、パッケージに手を入れる事は最終手段になりますので、ユニットテストでしか発生しない警告なら放置するか、作者に修正依頼を行うのが良いでしょう。
    それとは別に技術的に不可能かと言われると、tesseractと言うプログラムを見つけてシグナルを送り強制終了と言うことは不可能ではないですが、そこまでやるくらいならsubprocessを含む関数部分を全て上書きする方が現実的です。

    キャンセル

  • 2020/07/01 12:57

    後者のsubprocess部分を上書きする方法を追記しました。get_versionも同じことをする必要があります。この方法はモンキーパッチと呼ばれます。

    キャンセル

  • 2020/07/01 14:26

    回答ありがとうございます。yymmt様のサンプルコードを参考にget_versionの処理も作成したところ、warningを消すことができました。
    モンキーパッチについては知らなかったため学習していきます。
    ありがとうございました。

    キャンセル

+1

追記

main() で pyocr というパッケージが呼び出され、
そのパッケージが警告を発しているようです

pyocr · PyPI

原因が main() 内であるかどうかの切り分け

ためしに、テストコード中の main() の呼び出し箇所を
一時的に次のように編集します:

# expected = main()
expected = {}


unittest を実行すると、
テストは失敗するかもしれませんが、警告は表示されなくなるのではないでしょうか

main() 内で pyocr 呼び出した覚えがない場合

main() 内でなんらかのパッケージが
間接的に pyocr を呼び出している可能性があります
その場合は、
次のコマンドの結果を質問欄に追記していただけるともう少し助言できるかもしれません:

pip freeze

元の回答

その書き方だと、途中でテストが失敗したとき、
ファイルが開いたままでリソースが開放されない可能性があります

        answerFile = open("正解データのpath", 'r')
        answerData = json.load(answerFile)        # ここで失敗すると
        answerFile.close()                        # この行が実行されません

次のようにすると、ファイルを開いて閉じるという面倒がなくなります

from pathlib import Path

# ~

        answerFile = Path("正解データのpath").read_text()
        answerData = json.load(answerFile)

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/06/30 21:56

    回答ありがとうございます。調べたのですが、read_textの使い方がようくわからなかったため、withを使って書き直しました。
    しかし、warningは消えませんでした。。。
    出力はOKと出てくれるのですが。。。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.13%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる