[Python]並列処理でプロセス数を増やすとエラーが発生する

Question

状況

自作のモジュール内でcoucurrent.futures.ProcessPoolExecutorを用いて並列処理を実装したいと考えています。
下記のコードでMAX_WORKERS = 16として実行したところ、BrokenProcessPoolが発生しました。

from concurrent import futures

class ExampleClass:
    def hoge(self):
        with futures.ProcessPoolExecutor(max_workers=MAX_WORKERS) as executor:
            results = executor.map(ExampleClass.fuga, arg)

    @staticmethod
    def fuga(arg):
        #何かしらの処理

発生するエラー
concurrent.futures.process.BrokenProcessPool: A process in the process pool was terminated abruptly while the future was running or pending.

試したこと

自分で原因を探ったところ、OSがプロセスをkillしている可能性があるとのことで、プロセス数を減らせばエラーが発生しないと考えMAX_WORKERS = 8とした場合にはBrokenProcessPoolは発生しませんでした。
また、公式のドキュメントを読んだところ、ProcessPoolExecutorの項で「If max_workers is None or not given, it will default to the number of processors on the machine.」とあったためMAX_WORKERS = Noneとしたところ、BrokenProcessPoolが発生しました。

また、concurrent.futures.ProcessPoolExecutorで実装する前にmultiprocessing.Poolで実装していたのですが、その際はMAX_WORKERS = 16としてもエラーは発生しませんでした。

from multiprocessing import Pool
    ~~略~~
        with Pool(MAX_WORKERS) as p:
            results = p.map(ExampleClass.fuga, arg)
    ~~略~~

タスクマネージャーでCPUの使用率を観測しながら実行してみたところ、CPU使用率が100%に近づいた場合にBrokenProcessPoolが発生するような印象を受けました。MAX_WORKERS = 8とした場合のCPU使用率は60~70%ほどでした。

知りたいこと

1. BrokenProcessPoolが発生する原因、条件が知りたい。

2. multiprocessing.Poolでは実行できるのに、concurrent.futures.ProcessPoolExecutorでは実行できない理由が知りたい。

3. MAX_WORKERSの最適な数(エラーが発生せずに安全にタスクを完了できる数)の目安が知りたい。

4. 安全に並列処理を実行できる実装が知りたい。現在はMAX_WORKERS = 8とすれば一応動くが、他のタスクの実行中や現在のマシンよりも性能の劣るマシン上での実行などで、使用できるリソースが少ない状況でもエラーを出さずに実行したい。

また、「使用しているCPUは8コア16スレッドなので、MAX_WORKERSを増加させるとMAX_WORKERS = 16まではタスクが高速になる可能性がある。」という認識は正しいでしょうか。

並列処理にはあまり詳しくないため、前提知識などが抜け落ちていた場合はご教示いただければ幸いです。
よろしくおねがいします。

環境

CPU
Intel(R) Core(TM) i7-10700F CPU @ 2.90GHz

基本速度:	2.90 GHz
ソケット:	1
コア:	8
論理プロセッサ数:	16
仮想化:	有効

OS
Windows10

Python ver.
Python 3.10.0

Answer 1

一部分だけ回答します。

-「使用しているCPUは8コア16スレッドなので、MAX_WORKERSを増加させるとMAX_WORKERS = 16まではタスクが高速になる可能性がある。」という認識は正しいでしょうか。

「可能性がある」というのであれば、それは常に正しいです。
それと同様に、「MAX_WORKERSを増加させるとMAX_WORKERS = 16まではタスクが低速になる可能性がある。」というのも常に正しいです。

並列実行数を上げたときに性能が上がる問題もあれば性能が下がる問題もあります。
もともと並列実行できる部分が少ない問題の場合、2並列の性能が(並列化しない)逐次実行よりも遅いことは非常に多いです。

並列化して性能が上がる問題であっても、演算ネックの問題であれば8コア16スレッドのCPUで性能が上がるのは8並列までです。

キャッシュネックの問題の場合には、並列度を上げれば上げるほど1プロセスあたりのキャッシュが少なくなって性能が落ちる場合があります。特に3次キャッシュの場合、これが起きやすいです。

I/Oネックの問題であれば16並列まで性能が上がる可能性はあります。

メモリネックの問題の場合、並列度を上げて、実装されている物理メモリが不足すると、スラッシングが起きて急激に性能が低下することがあります。

Comments

[Luna_rab]

丁寧なご回答ありがとうございます。
やりたいことが演算ネックなのでプロセス数は物理コア数までにしたほうが良さそうですね。