Python:threadingの実行結果の保存先について

Question

以前質問させていただき回答をいただいたのですが、問題をみつけたため質問させていただきます。

実現したいことと前提

ライブラリABC(名前は仮です)のfuncという関数の返り値を１秒以内の時間制限で取得する関数を作りたいです。
具体的には１秒以内で値が返ってきたらその値を出力。
１秒以内に返ってこなければ関数を停止し別の文字列を出力。

func:文字列を返す,実行時間は一瞬で終わることもあれば無限に終わらないこともある

発生している問題・解決方針

ソースコードで指摘している箇所で止まってしまっています。
原因としてはreturn文の箇所でもう一度ABC.funcを実行しなおしているためだと考えています。
スレッドに渡した関数の実行結果をどうにかして保存して置ければ、それをreturnすればよいので解決すると考えています。

該当のソースコード

import threading
import ABC#ライブラリの名前に意味はないです

#出力結果は文字列
def thread_func():
        txt="hoge"
        th=threading.Thread(target=ABC.func())
        th.start()
        th.join(1)#1秒間動かす
        if not th.is_alive():#ABC.funcが停止していればreturnしたい
            return ABC.func()#ここで停止してしまいます
       else:
           return txt

よろしくお願いいたします!

Comments

[otn]

先の質問とは質問の前提がかなり異なっていますが、こっちが本当の要件だったと言うことですかね。

[calendar]

前回はお世話になりました。ありがとうございました。
参考にさせていただいたコードを実現するために別のメソッドを用意しようと思い作成したのがこちらになります。

[otn]

先の質問は、先の質問に書いてあった要件のための物なので、要件が先の質問と異なると言うことなら、全く新たに考えた方が良いです。

Answer 1

threading.Threadで呼んだ関数の返り値を受け取ることはできません。 ですが、いくつか方法はあります。

その1

スレッドはメモリを共有していますので、データの受け渡し用にミュータブルなオブジェクトを関数に渡して、そこに値を入れてもらう方法です。
質問の状況で、ライブラリABCの関数変更できないのであれば、ラッパー(wrapper)を作ります。
ABC.func()が修正できるのであれば、そうするのがいいでしょう。

import threading
import ABC#ライブラリの名前に意味はないです

def wrap_ABCfunc (result):
    result.append(ABC.func())

#出力結果は文字列
def thread_func():
        txt = 'hoge'
        result = []
        th=threading.Thread(target=wrap_ABCfunc(), args=(result,))
        th.start()
        th.join(1)#1秒間動かす
        if not th.is_alive():#ABC.funcが停止していればreturnしたい
            return result[0]
       else:
           return txt

その2

pythonには、threadingよりも新しい、並列処理用のモジュールがいくつかあり、それらを使うと呼び出した関数の返り値を取得することができます。

concurent.futureモジュールだとたぶんこんな感じ

import concurrent.futures

with concurrent.futures.ThreadPoolExecutor() as executor:
    future = executor.submit(ABC.hoge)
    try:
        return_value = future.result(timeout=1)
        print(return_value)
    except concurrent.futures._base.TimeoutError as e:
        print('hoge')

Comments

[calendar]

コードまで記載いただきありがとうございます。
concurrent.futuresに関して勉強を進め記載いただいたコードを参考にしたところ、
実現したいシステムができました。

Answer 2

threading.Thread で target に渡す関数の戻り値は無視されます。
source code 該当箇所 Thread.run メソッド内

値を受け渡す方法は

• 関数内で何処か外側のスコープに渡すか、Queue 等を使い値を受け渡します。
• concurrent.futures.ThreadPoolExecutor や ProcessPoolExecutor を使うなら

　関数の結果を取り出す result() メソッドに timeout を指定することができます。

• 外部ライブラリを使う

　タイムアウト時に例外を投げる関数デコレーターやコンテキストマネージャが幾つか有ります。
Pythonの関数をタイムアウトさせるときに便利なライブラリ

スレッドを用いる方法では、タイムアウトの通知はされますが、関数の実行自体は中断されない点に注意してください。
もし時間の掛かる処理を取りやめたい場合は、関数自体を中断可能な設計するか、
multiprocessing.Process と terminate を用いてプロセス自体を終了することになります。

Python の Thread クラスには明示的に強制終了させる API はありません。
(可能ではありますが、内部API呼び出し等をしたり、デバッグが複雑になりお勧めは出来ません）
また、ProcessPoolExecutor で用いる future の cancel メソッドは、
実行スケジュールのキャンセルであって、実行中の関数はキャンセルできない点にも注意。

---

ABC.func が止まる件については、ABC.func のコードを提示してください。

Thread(target=ABC.func()) target の時点で関数を呼び出している等、
恐らく実行されているコードと掲載のコードが異なるので、
質問には問題の現象が再現できるコードを掲載してください。

Comments

[calendar]

丁寧にリンクまで記載いただきありがとうございます。
ProcessPoolExecutorでのfutureのcancelメソッドについての解説もありがとうございます。
そこで一度悩んでしまったのでアンサーを読み返したとき助かりました。

[teamikl]

スレッドやProcessPoolExecutorだけでは
「関数を停止し」の部分が出来ない点に注意してください。
タイムアウトによりメイン側の待機状態は解除されますが、
ABC.func 関数の実行自体は続きます。