thread内で例外が出た場合にthreadごと例外処理させる方法がわからない

Question

前提・実現したいこと

thread処理内で発生した例外を検知してthreadごと一時停止させたい

発生している問題・エラーメッセージ

            except requests.exceptions.ConnectionError:
                print('接続エラー、待機後再接続します。')
                logs.append("ERROR"+"\t"+target_url)
                time.sleep(10)

のようにthread内に記述してもsleepされない

該当のソースコード

        args = sys.argv
        if len(args)==2:
            input_file = args[1]
        else:
            input_file ="list.txt"

        keywords_list=["Test"]

        logs= []
        urls_404 = []
        urls_504 = []
        urls_accept = []

        def check_url(target_url):

            try:
                req = requests.get(target_url)
                logs.append(str(req.status_code)+"\t"+target_url)

                if req.status_code == 404:
                    urls_404.append(target_url)

                    html = BeautifulSoup(req.text, "html.parser")
                    #print(str(html))
                    title = html.find("title").text
                    body = html.find("body").text

                    for keyword in keywords_list:
                        if keyword in body:
                            urls_accept.append(target_url)
                            break

                elif req.status_code == 504:
                    urls_504.append(target_url)

                elif req.status_code == 200:
                    html = BeautifulSoup(req.text, "html.parser")
                    #print(str(html))
                    title = html.find("title").text
                    body = html.find("body").text

                    for keyword in keywords_list:
                        if keyword in body:
                            urls_accept.append(target_url)
                            break

            except requests.exceptions.ConnectTimeout:
                print('タイムアウトしました')
                logs.append("TIMEOUT"+"\t"+target_url)
                time.sleep(10)

            except requests.exceptions.ConnectionError:
                print('接続エラー、待機後再接続します。')
                logs.append("ERROR"+"\t"+target_url)
                time.sleep(10)

        with open(input_file) as f:
            urls = f.read().splitlines()

        threads = []

        for url in urls:
            thread = Thread(target=check_url, args=(url,))
            thread.start()
            threads.append(thread)

        for thread in threads:
            thread.join()

        with open("log.txt", "w") as f:
            f.write("\n".join(logs))

        with open("404.txt", "w") as f:
            f.write("\n".join(urls_404))

        with open("504.txt", "w") as f:
            f.write("\n".join(urls_504))

        with open("output.txt", "w") as f:
            f.write("\n".join(urls_accept))

試したこと

ソースコードに記載してあるようにtime.sleepを例外処理に入れてるんですが止まりません。

補足情報（FW/ツールのバージョンなど）

Comments

[y_waiwai]

止まらないで、どういう動作となるんでしょうか

[KohnoseLami]

time.sleepを無視してアクセスし続け永遠にrequests.exceptions.ConnectionError:がでてしまいます。
このエラーは10秒ほどアクセスを一時停止させることで回避できるのでこのエラーが出た瞬間にthreadごと処理を一時停止させたいです

Answer 1

例外が発生した場合に10秒待って再接続したい、ということであれば関数check_url()をそのように実装するのが良いと思います。

def check_url(target_url, retry=3):
    for i in range(retry):
        try:
            ...
            return  # 正常終了の時は関数を終了
        except requests.exceptions.ConnectTimeout:
            print('接続エラー、待機後再接続します。')
            logs.append("ERROR"+"\t"+target_url)
            time.sleep(10)

Answer 2

        for url in urls:
            thread = Thread(target=check_url, args=(url,))
            thread.start()
            threads.append(thread)

ここでスレッドをurlsの数分だけ同時生成／開始させてるんで、そんだけの数の例外が同時発生するのは当然だと思いますが