Pythonのconcurent.futuresを使って処理を分割しても全体の実行が早くならない

Question

Python3.8, CPUは4コア8スレッドです。

「csvファイルを一つ読んで内容を処理し、結果を画像ファイル等に書き出す」という処理を、大量のcsvに対して行っています。
以下のコードような感じです。

import glob
import pandas as pd

files = glob.glob("./*csv)
for(file in files):
    df = pd.read_csv(file)
    # ファイルごとの処理＆書き出し処理をここで行う

処理にかかった時間は以下のようになりました。

# ターミナルのtimeコマンドで計測
real    1m18.548s
user    1m17.061s
sys     0m1.484s

ファイルの数が膨大なので、並列で処理を行って全体を高速化しようとしました。
以下のようにコードを変更しました。

import concurrent.futures

files = glob.glob("./*csv")
n = len(files)//4
files1 = files[0:n]
files2 = files[n:2*n]
files3 = files[2*n:3*n]
files4 = files[3*n:]

def func(files):
    for(file in files):
        df = pd.read_csv(file)
        # ファイルごとの処理＆書き出し処理をここで行う

executor = concurrent.futures.ProcessPoolExecutor(max_workers=4)
executor.submit(func, files1)
executor.submit(func, files2)
executor.submit(func, files3)
executor.submit(func, files4)

これで処理が4倍速になる...と期待しましたが結果は以下のようになりました。

real    0m21.629s
user    1m23.304s
sys     0m1.683s

処理にかかるuser時間がほぼ同じに（むしろ遅く）なっています。
なぜ全体が速くならないのでしょうか。

自分で調べた範囲では、このページを見る感じマルチプロセスならちゃんと速くなってくれるはずという認識なのですが、誤りがあればご教授いただきたいです。

Comments

[jbpb0]

realが減ってるのだから、高速化できてるのではないですかね

Answer 1

並列処理は経過時間を短くできることがありますが、総ユーザ消費時間とシステム消費時間は必ず長くなります。
これは並列処理のオーバーヘッドのためです。

逐次実行時

経過時間 0m21.629s
総ユーザ消費時間 1m17.061s
システム消費時間 0m1.484s

並列実行時

経過時間 0m21.629s
総ユーザ消費時間 1m23.304s
システム消費時間 0m1.683s

経過時間の比率が78.548/21.629 = 3.63160571454991

ということは、4コアで3.63倍ですから並列化の効果はかなり高いほうです。

Comments

[jbpb0]

逐次実行時の経過時間が違いますよ

[haomoni]

user消費時間の意味を勘違いしていました。
スレッドを同時に動かしている時間はそれらの和になるんですね。（現実の経過時間を単純に指すものだとてっきり...。）