whileループ中の同時処理に関して

Question

質問

異なる時間で終了する処理をwhileループ中で同時に行い、それぞれの処理の完了次第次のループに入るプログラムを作りたく
、ThreadPoolExecutorを使用してみました。しかし、この関数ではループ内で同時に処理している全ての処理が終了してからでないと次のループに入ってくれませんでした。何か他の方法は存在しないのでしょうか？
例えば以下のコードでは、aとbの変数の時には3秒ごとに処理を繰り返してもらいたいが、cの時の処理が終了するまで99999秒待たされてしまうことになり、aとbの変数を用いている関数は、自分の処理は完了しているにもかかわらず次のループに入ることができなくなってしまいます。

該当のソースコード

from concurrent.futures import ThreadPoolExecutor
import time

a = (1,2,3)
b = (4,5,6)
c = (7,8,9,10)

def example(d):
    if d > 3:
        time.sleep(99999)
    else:
        time.sleep(3)

while True:
    with ThreadPoolExecutor() as executor:
        executor.submit(example,a)
        executor.submit(example,b)
        executor.submit(example,c)

Comments

[quickquip]

普通に動いて、質問したいことを表現しているコードにしてもらえますか。質問のニュアンスは伝わっていると思うのですが、動かないコードが邪魔をしているように感じます。
あと、ここまで書いたなら、コード例で「こう動いて欲しい」結果と「けれどこうなってしまう」をセットで書くとよいと思います。

[dameo]

えーっと、コレsubmit間違ってます。mapです。出直してください。
thread中で例外出てます。拾ってください。完全にやり直しです。0点。

Answer 1

while ループのたびにThreadPoolをつくっている形になっているのでそのような動作になります

同一ThreadPoolでまわせば改善します
whileとwithの行を入れかえれは良いでしょう。
ただし、現状のコードだと、いずれすべてのスレッドで時間のかかる処理をしている状態になります

---

元のコードをベースにすると、上の回答のようになりますが、実際にそのとおりのコードを書くと、キューに無限にタスクが積まれてしまうことになり、リソースが枯渇するなどの問題が発生すると思います。

そもそもそれらのタスクを無限ループで実行したい理由は何ですか？
たとえばデータの定常的な取得のように、それらのタスクを並列に常時実行していたい、ということなのであれば、他の方の回答にあるとおり、定常実行の部分はタスクに含めるのが正しいと思います。

Answer 2

executor に渡す関数の中に、ループを作ればいいのではないでしょうか。

from concurrent.futures import ThreadPoolExecutor
import time

a = (1,2,3)
b = (4,5,6)
c = (7,8,9,10)

def example(d):
    while True:
        if len(d) > 3:
            time.sleep(99999)
        else:
            time.sleep(3)

with ThreadPoolExecutor() as executor:
    executor.submit(example,a)
    executor.submit(example,b)
    executor.submit(example,c)

---

ただ、上のコードだと、質問文と同様どのように動作しているか全くわからないので、より実用的な形に直したのが下記です。

from concurrent.futures import ThreadPoolExecutor
import time

a = (1,2,3)
b = (4,5,6)
c = (7,8,9,10)

def example(taskname, task, interval):
    print(f"タスク{taskname} を繰り返し処理する作業を開始します。実行間隔は{interval}秒です。")
    while True:
        print(f"タスク{taskname} を実行中:{task}")
        time.sleep(interval)

with ThreadPoolExecutor() as executor:
    executor.submit(example,"a", a, 3)
    executor.submit(example,"b", b, 3)
    executor.submit(example,"c", c, 99999)    

これを実行すると、a, b, c が同時に処理開始されるとともに、a, b は 3 秒ごとにループ処理される一方、c は 99999 秒ごとにループ処理されることがわかると思います。