multiprocessingを使っているのにマルチスレッドのようにmainプロセスに遅延が発生する

Question

前提・実現したいこと

pythonのmultiprocessingを使って並列処理をしたいのですが、
下のようなコードだと、マルチスレッドのようにmainプロセスに遅延が発生してしまいます。
具体的には、
mainで

print(f'1周の所要時間:{elapsed_time}\n')

を実行しているのですが、サブプロセスが1この時とサブプロセスが2こ3この時で平均的な所要時間が多くなってしまいます。
使えるCPUの範囲でサブプロセスをある程度増やしても完全な並列処理ができるようにするにはどのようにすればいいのでしょうか。
わかる方がいましたらコメントお願いします。

発生している問題・エラーメッセージ

multiprocessingを使っているのに、マルチスレッドのようにmainプロセスに遅延が発生する。
一般的なマルチプロセスだとサブプロセスの数にかかわらず、mainの一周の所要時間はほとんど変化がないはずです、、

//サブプロセス1個の場合
1周の所要時間:0.7286965847015381

main process...
1周の所要時間:0.45372629165649414

main process...
1周の所要時間:0.5691251754760742

main process...
sub process...
1周の所要時間:0.5207698345184326

//サブプロセス3個の場合
1周の所要時間:1.465956449508667

main process...
1周の所要時間:1.0600461959838867

main process...
1周の所要時間:1.0374970436096191

main process...
sub process...
1周の所要時間:1.293185949325561

該当のソースコード

import os
import datetime
import json
import time
import asyncio
from multiprocessing import Process, Queue, freeze_support, set_start_method
import sys
import random


def sub_process(q):
    while q.qsize()!=0:
        print('sub process...')
        queue_data=q.get()
        if queue_data=='sleep':
            print('5秒待ちます...')
            time.sleep(5)
        else:
            hoge.hoge(queue_data) # キューに入れたデータをcsvに変換して保存します
    print('sub processを終了します.')
    sys.exit(0)


def main(q):
    try:
        while True:
            print('main process...')
            start = time.time()
            fuga = fuga.fuga() #センサから値を取ってきます
    
            q.put(fuga)
            print(f'main process queue size: {q.qsize()}')
            elapsed_time=time.time()-start
            print(f'1周の所要時間:{elapsed_time}\n')
            #time.sleep(2)
    except KeyboardInterrupt:
        print('プログラムを終了します.')


if __name__ == '__main__':
    print(f'使用可能なCPU数：{len(os.sched_getaffinity(0))}')
    #freeze_support()
    #set_start_method('spawn')
    q=Queue()
    q.put('sleep')
    q.put('sleep')
    q.put('sleep')
    p_sub = Process(target=sub_process, args=(q,))
    p_subsub = Process(target=sub_process, args=(q,))
    p_subsubsub = Process(target=sub_process, args=(q,))
    p_main = Process(target=main, args=(q,))
    p_sub.start()
    p_subsub.start()
    p_subsubsub.start()
    p_main.start()
    p_main.join()
    p_sub.join()
    p_subsub.join()
    p_subsubsub.join()

##環境
OS: Raspberrypi OS
デバイス: ラズパイ4

Comments

[y_waiwai]

遅延が生じるとはなにがどういうふうになるんでしょうか
意味不明です

[aiai8976]

失礼しました。
追記したので、確認お願い致します。

[quickquip]

できればそのまま実行できるコード（問題が明確になっている実証用のコード）がいいな、と感じました。

あと、multiprocessingの質問だと、OSの情報が必須かと思います。

[quickquip]

> 平均的な所要時間が多くなってしまいます
手元の環境での結果でいいので、具体的に2個の時は○秒、3個の時は○秒、と書いた方がいいと思いました。

https://teratail.com/help/question-tips#questionTips3-4-1
> 実際に起きた結果を示しましょう。例えば、「○○というエラーが表示された」、「レイアウトがこのように崩れてしまった」等です。あなたの想像ではなく、実際に起きたことを述べましょう。

[aiai8976]

正しい意見ありがとうございます。
改めて追加してみたので確認お願い致します。

[jbpb0]

もっと時間がかかるような処理で比較したら、差が縮まりませんか？
(差というか比というか)

[aiai8976]

mainの方のプログラムをなるべく早く回したくて、取得したデータを一旦キューに入れるようにしています。
だから、時間がかかるような処理で比較するのはあまり意味がないのかなと思うのですが、どうでしょうか？

[quickquip]

現象から逆算すると
fuga.fuga() #センサから値を取ってきます
にディスクI/Oがないか、とか気になりますね……

[aiai8976]

https://dev.classmethod.jp/articles/distance-detection-realsence/
この記事とだいたい同じようなことをしています。

[jbpb0]

プロセス数を変えた場合の比較では無く、ジョブの重たさを変えた場合の比較ですが、
http://551sornwmc.blog109.fc2.com/blog-entry-377.html?sp
によると、並列化無しでトータル計算時間が1.2秒の場合は、マルチプロセスでトータル2.1秒かかっていて、マルチプロセスが負けてます
並列化無しでトータル13.5秒の場合で、マルチプロセスでトータル10.6秒でかろうじて逆転してますが、たいして高速にはなってません
もっと重たいジョブじゃないと、並列化の恩恵は感じられないでしょう

このことから、並列化したい計算以外の部分(プロセスの起動等)で結構時間かかってて、それが相対的に少なくなるような条件(並列化したい計算の比率が高い)にしないと、マルチプロセスの優位性が発揮されないのだと思います

上記はWin PCの場合で、ラズパイのCPUだと、逆転する計算時間はもっと長いかも

ここからは、上記からの想像なので、外れてるかもしれません

質問者さんが確認してる条件は、プロセスの計算時間がとても短いことから、上記のマルチプロセスに優位性があまり無い、本当に並列化したい計算以外の部分の比率が高い条件になっているのだろうと思います

プロセス数を増やしたらプロセスあたりの時間が増えているのは、並列化したい計算以外の部分(プロセスの起動等)が、もしかしたら並列化が難しくて、プロセス数を増やすと不利になっているのかも、と思いまして、時間がかかる処理で比較したら、と書きました

しかしながら、実際に並列化して高速化したい処理が時間がかからないものなら、時間がかかる処理で試すのは意味ないですね

[aiai8976]

並列化で恩恵を受けるのはかなり時間の必要な処理に関してなんですね。
丁寧な説明ありがとうございました。
並列化以外で自分がやりたいことができないか検討してみます。

Answer 1

並列処理の実行性能は、(仮想)CPUコアの数だけの問題ではありません。

L2キャッシュ(データの局所性)
メモリ量 (ページングの頻度)
ストレージIO (バス幅、機器の速度、連続アクセスかランダムアクセスか)
ネットワーク (DBなど他サーバとの接続)

などが影響しますので、hoge.hogeやfuga.fugaが何をやるかしだいです。

CPU数と言っているものも、インテルのハイパースレッディングのように見かけのコア数は多くても演算パイプを共用している場合にはそこまでの性能は出ないアプリが多いです。

Comments

[aiai8976]

回答ありがとうございます。
簡単にやっていることを追記させていただきました。
それらの処理は変えられない場合、完全な並列処理は難しいですか？
また、他のやり方を知っていたりしますか？

[ppaul]

並列実行するようにプログラムを書き換えるれば「完全な並列処理」はできますが、「逐次実行ようり高速な並列処理」ができるようなアプリケーション分野は、100分野に1本見つかればいいほうです。そしてそういうものはたいていは100時間かかるものを1時間に縮めたというようなものです。
数秒の処理を半分にできるというようなアプリケーションはほぼ見つからないと思ってください。

[aiai8976]

よくわかりました。
丁寧な説明ありがとうございました。
並列化以外で自分のやりたいことが実現できないか検討してみます。