pytestでtestとdebugで挙動が異なる部分はどこでしょうか？

Question

前提・実現したいこと

pyautoguiを使用して、RPAアプリケーションの開発を行っています。
この時、testだとフリーズするのに、debugだとtestをpassできます。
この挙動の違いはどこから来るのか思い当たることが無いので、
ご存知の方がいらっしゃいましたらご教授願います。

または、どこの挙動が違うかわからなくても回避できる方法がございましたら、
それも知りたいです。

test、debugともに、vscodeのmicrosoft公式拡張機能「Python」によって追加される、
「三角フラスコアイコン」から辿ってアイコンクリックで起動しています。

テスト用のライブラリにはpytestを利用しています。

発生している問題・エラーメッセージ

def WaitWindowLoadWithImgでフリーズしているということまでしかわかりませんでした。

該当のソースコード

テスト対象のモジュールの中でフリーズしている部分です。

def WaitWindowLoadWithImg(nameforimg:str,timeforwait:int,nameforwindow:str,ratioforcut:tuple) -> bool:
    """
    Check if the window is loaded using the image.
    ----------

        Parameters:
        ----------
            nameforimg:str
                Specify the image you want to find by the name of the file.
            nameforwindow:str
                Specify the window you want to find by the name.
            timeforwait:int
                Specifies the number of times to continue the check every second.
            ratioforcut: tuple
                Specifies which range in the Window to check.
                (leftRatio,topRatio,widthRatio,heightRatio)
                
        Returns:
        ----------
            bool: Returns true if a window with the specified name is found in time and the same part of the image is found in that window.
    """
    """[summary]

    Raises:
        WndNotFoundError: [description]

    Returns:
        [type]: [description]
    """
    pyautogui.moveTo(2,2)
    shotRatio=None
    for HowManyTime in range(timeforwait):
        titles = get_window_titles()
        if nameforwindow in titles:
            getrect=GetWindowRectFromName(nameforwindow)
            shotRatio=CutRectByRatio(Rect=getrect,Ratio=ratioforcut)
            pos = pyautogui.locateCenterOnScreen(GetImage(nameforimg), region=shotRatio)
            if pos != None:
                return True
        sleep(1)
    # print(shotRatio)

    pyautogui.screenshot(imageFilename=("img/timeline/"+datetime.datetime.now().strftime('%Y%m%d%H%M%S')+nameforwindow+"-"+nameforimg+".png"),region=shotRatio)
    raise WndNotFoundError('timeout : "' + GetImage(nameforimg) + '"')
    return False

こんな感じで使用します。

def test_search():
    res=winctrl.WaitWindowLoadWithImg(
        nameforwindow="検索",
        timeforwait=20,
        ratioforcut=(0, 0, 0.5, 0.3),
        nameforimg="serchresult",
    )
assert res

試したこと

testをするとraise WndNotFoundErrorで止まりますが、debugだとスッキリreturn Trueしてくれてpassするので、
完全に詰みました。testモードで実行するとprint()も使えないし、ブレークポイントも使えません。私の脳味噌はStackoverflowしました。

補足情報（FW/ツールのバージョンなど）

appdirs           1.4.4
astroid           2.4.2
atomicwrites      1.4.0
attrs             20.2.0
autopep8          1.5.4
black             20.8b1
certifi           2020.6.20
click             7.1.2
colorama          0.4.3
cx-Oracle         8.0.1
iniconfig         1.0.1
isort             5.5.2
lazy-object-proxy 1.4.3
mccabe            0.6.1
more-itertools    8.5.0
MouseInfo         0.1.3
mypy-extensions   0.4.3
numpy             1.19.2
packaging         20.4
pathspec          0.8.0
Pillow            7.2.0
pip               20.2.3
pluggy            0.13.1
py                1.9.0
PyAutoGUI         0.9.50
pycodestyle       2.6.0
PyGetWindow       0.0.8
pylint            2.6.0
PyMsgBox          1.0.8
pyodbc            4.0.30
pyparsing         2.4.7
pyperclip         1.8.0
PyRect            0.1.4
PyScreeze         0.1.26
pytest            6.0.2
PyTweening        1.0.3
regex             2020.7.14
rope              0.17.0
setuptools        49.6.0.post20200814
six               1.15.0
toml              0.10.1
tqdm              4.49.0
typed-ast         1.4.1
typing-extensions 3.7.4.3
wheel             0.35.1
wincertstore      0.2
wrapt             1.12.1
yapf              0.30.0

バージョン: 1.49.0 (system setup)
コミット: e790b931385d72cf5669fcefc51cdf65990efa5d
日付: 2020-09-10T13:22:08.892Z
Electron: 9.2.1
Chrome: 83.0.4103.122
Node.js: 12.14.1
V8: 8.3.110.13-electron.0
OS: Windows_NT x64 10.0.18363

# Name                    Version                   Build  Channel
appdirs                   1.4.4                    pypi_0    pypi
astroid                   2.4.2                    pypi_0    pypi
atomicwrites              1.4.0                    pypi_0    pypi
attrs                     20.2.0                   pypi_0    pypi
autopep8                  1.5.4                    pypi_0    pypi
black                     20.8b1                   pypi_0    pypi
ca-certificates           2020.6.20            hecda079_0    conda-forge
certifi                   2020.6.20        py38h32f6830_0    conda-forge
click                     7.1.2                    pypi_0    pypi
colorama                  0.4.3                    pypi_0    pypi
cx-oracle                 8.0.1                    pypi_0    pypi
iniconfig                 1.0.1                    pypi_0    pypi
isort                     5.5.2                    pypi_0    pypi
lazy-object-proxy         1.4.3                    pypi_0    pypi
mccabe                    0.6.1                    pypi_0    pypi
more-itertools            8.5.0                    pypi_0    pypi
mouseinfo                 0.1.3                    pypi_0    pypi
mypy-extensions           0.4.3                    pypi_0    pypi
numpy                     1.19.2                   pypi_0    pypi
openssl                   1.1.1g               he774522_1    conda-forge
packaging                 20.4                     pypi_0    pypi
pathspec                  0.8.0                    pypi_0    pypi
pillow                    7.2.0                    pypi_0    pypi
pip                       20.2.3                     py_0    conda-forge
pluggy                    0.13.1                   pypi_0    pypi
py                        1.9.0                    pypi_0    pypi
pyautogui                 0.9.50                   pypi_0    pypi
pycodestyle               2.6.0                    pypi_0    pypi
pygetwindow               0.0.8                    pypi_0    pypi
pylint                    2.6.0                    pypi_0    pypi
pymsgbox                  1.0.8                    pypi_0    pypi
pyodbc                    4.0.30                   pypi_0    pypi
pyparsing                 2.4.7                    pypi_0    pypi
pyperclip                 1.8.0                    pypi_0    pypi
pyrect                    0.1.4                    pypi_0    pypi
pyscreeze                 0.1.26                   pypi_0    pypi
pytest                    6.0.2                    pypi_0    pypi
python                    3.8.5           h60c2a47_7_cpython    conda-forge
python_abi                3.8                      1_cp38    conda-forge
pytweening                1.0.3                    pypi_0    pypi
regex                     2020.7.14                pypi_0    pypi
rope                      0.17.0                   pypi_0    pypi
setuptools                49.6.0           py38h32f6830_0    conda-forge
six                       1.15.0                   pypi_0    pypi
sqlite                    3.33.0               he774522_0    conda-forge
toml                      0.10.1                   pypi_0    pypi
tqdm                      4.49.0                   pypi_0    pypi
typed-ast                 1.4.1                    pypi_0    pypi
typing-extensions         3.7.4.3                  pypi_0    pypi
vc                        14.1                 h869be7e_1    conda-forge
vs2015_runtime            14.16.27012          h30e32a0_2    conda-forge
wheel                     0.35.1             pyh9f0ad1d_0    conda-forge
wincertstore              0.2                   py38_1003    conda-forge
wrapt                     1.12.1                   pypi_0    pypi
yapf                      0.30.0                   pypi_0    pypi

Answer 1

pytestでの例外処理はハマりどころです。例外処理で止まるのは仕様です。
私の記事ですが、以下を参照してみてください。

https://qiita.com/toast-uz/items/d0aec4393bdd76feb2ff#%E8%A7%A3%E8%AA%ACb7-pytest%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8B%E4%BE%8B%E5%A4%96%E5%87%A6%E7%90%86

Comments

[ShortArrow]

回答ありがとうございます。仕様なのはわかりました。ですが、debugでは絶対に例外処理に到達しないのに、なぜtestだと例外処理にたどり着くのでしょう？不思議ですよね。

[toast-uz]

コメントありがとうございます。debugとtestで、pyautogui.locateの挙動が異なるのかも、ということですね。直接の回答ではありませんが、vscodeのsettings.jsonにおいて、"python.testing.pytestArgs"の中に"--capture=no",を追記すると、test成功時でもprint結果が表示されるので、testのデバッグに役立ちます。

[ShortArrow]

`lacatecenteronscreen`の定義を辿ってみたら、中で`locateonscreen`に`**kwargs`を渡しておりました。そこで、`locateonscreen`の定義を見てみると、`minSearchTime=0, **kwargs`と分裂していました。使っていました。そしてその中で、`locate`という関数にすべて渡しているのですが、この時に`minSearchTime`は明示していませんでした。`locate`の定義をたどってみると`(variable) locateAll: (needleImage, haystackImage, grayscale=None, limit=10000, region=None, step=1, confidence=0.999) -> Generator[Box, None, None] | _AnyCallable`となっていました。

ゆっくりにしたら動くかな？という根拠のない発想と、途中にだけ存在したminSearchTime`は何者だ？という好奇心から、最初の`lacatecenteronscreen`に`minSearchTime`を適当に指定してみました。

そうしたら正常に動くようになりました。