Python3 multiprocessingを用いた一部分の並列化

Question

前提・実現したいこと

multiprocessing.Pool で一部分を並列化したいと考えております．
以下に簡略化したプログラムを示します．

並列化したい関数

import multiprocessing  
from multiprocessing import Pool

def func1(num):
    li = []
    for a in range(num):
        for b in range(a, a*2):
            for c in range(a, a*3):
                d = func2(a, b, c) # TrueかFalseが返る
                if d:
                    li.append([a, b, c])
        if li != []:
            break
    return li

このプログラムで伝えたいことは
・上から2つ目と3つめ目のforループのb, cはaによって決まる（実際はrange(数値)ではありません）
・func1の目的は，条件を満たす(func2でTrueが返る)最小のaとその組b, cを求める
ということです．

試したこと

以下のように並列化してみました．

def mult_func1(num): # func1の並列化
    for a in range(num):
        target = []
        for b in range(a, a*2):
            for c in range(a, a*3):
                target.append((a, b, c))
        with Pool(multiprocessing.cpu_count()) as pool:
            result = pool.starmap(func3, target) 
        pool.close()
        result = [x for x in result if x] # 空リストを削除
        if result != []:
            break
    return result

def func3(a, b, c):
    d = func2(a, b, c)
    if d:
        return a, b, c
    else:
        return []

しかし，このプログラムは並列化する前よりも倍以上実行時間がかかってしまいました．
forループの中に並列化処理を入れているせいで遅くなってしまっていると思いますが，どのように解決したらよいでしょうか？
numは大きい値のため，3重ループを並列化処理して，すべての処理が終わった後に最小のaの組を取り出すという操作は避けたいです．
よろしくお願いいたします．

Answer 1

def mult_func1(num): # func1の並列化
    for a in range(num):
        target = []
        for b in range(a, a*2):
            for c in range(a, a*3):
                target.append((a, b, c))
        with Pool(multiprocessing.cpu_count()) as pool:
            result = pool.starmap(func3, target) 
        pool.close()
        result = [x for x in result if x] # 空リストを削除
        if result != []:
            break
    return result

def func3(a, b, c):
    d = func2(a, b, c)
    if d:
        return a, b, c
    else:
        return []

上記コードですと、プロセス数分同じ処理(計算)していませんか？

result = pool.starmap(func3, target)

この後のresultの値を確認してください。重複していないでしょうか？

Comments

[tthk]

ご回答いただきありがとうございます．
確かに簡略化していない元のプログラムでは重複していたのですが，上記のプログラムでtargetを出力したり適当なfunc2を作ってresultを出力したりしましたが，なぜか重複が見られませんでした．
この試行も含め根本的に何か間違っている気がいたしますが，重複する原因がわからないので教えていただけないでしょうか?

[tthk]

何度もすみません．
もう一度よく確認したところ，元のプログラムでも重複はありませんでした．
ただ，resultが上書きされているだけで処理自体が複数行われているのかなとも思ったのですが，プロセス数分同じ処理をしているというお考えに至った理由をお聞かせいただけますでしょうか？

[meg_]

pool.starmap()に対する理解が足りていませんでした。すみません。
ただ、マルチプロセス化したのに遅くなるのは謎ですね。検証可能なコードを提示いただくことは可能でしょうか？

[tthk]

ご返信ありがとうございます．
func3にtime.sleep(1)を入れると並列化した場合に早くなったので，func3の処理が軽すぎることが原因かなと思いました．なので，並列化ではなくforループを高速化することに切り替えたいと思います．
紳士に対応してくださりありがとうございました．

Answer 2

三段階の for　ループがありますが、入力データをパラメータにするのではなく、２段階目と３段階目の for ループ func3() に含めたらどうでしょうか？

Comments

[tthk]

ご回答いただきありがとうございます．
２段階目と３段階目の for ループ をfunc3() に含めるということは
with Pool(multiprocessing.cpu_count()) as pool:
result = pool.map(func3, range(num))
と書き換えるという理解で合ってますでしょうか？
確かに，forループのなかに並列化処理を入れることを避けられますが，結局３重ループを並列計算していることと同じですので，この手法は避けたいと考えております．(そのように意図されていなかったらすみません)
ただ，range(num)=[0 1 2 3]として0, 1, 2, 3が並列化処理されているとしたときに，それぞれの結果をマージされる前に確認して，条件を満たしていれば並列化処理を強制的に止める，ということができれば実現可能なのではと思ったのですが，そのようなことは可能なのでしょうか？