shutil.make_archiveをマルチスレッドで走らせるとランダムにファイルが抜ける

Question

コマンド引数として与えたパス内のサブディレクトリをそれぞれzip化し、元のサブディレクトリは削除するというスクリプトを書いています。
シングルスレッドの場合は問題なく動く(auto_zip())のですが、concurrent.futures.ThreadPoolExecutor()を使いマルチスレッドで行う(auto_zip_multi_thread())と圧縮後のzipにいくつかのファイルが含まれていないことがあります。
ファイルの何割が抜けているのかは毎回異なり、同じディレクトリでも複数回実行すると毎回違う結果になります。
欠損なく処理が終わることもあります。
このように再現性がないのですが、どこをどう直せば良いのでしょうか?
zipを解凍し元のzipを削除する同じようなスクリプトは問題なく動くので、違いもよく分かりません。

#!/usr/bin/env python3
# auto_zip.py
import argparse
import concurrent.futures
import pathlib
import shutil


# Lose data.
def auto_zip_multi_thread(dirs: list[pathlib.Path]) -> None:
    with concurrent.futures.ThreadPoolExecutor() as executor:
        future_to_dir = {executor.submit(zip_and_remove_dir, i): i for i in dirs}
        concurrent.futures.as_completed(future_to_dir)


# Work fine and don't lose data.
def auto_zip(dirs: list[pathlib.Path]) -> None:
    for i in dirs:
        zip_and_remove_dir(i)


def zip_and_remove_dir(path: pathlib.Path) -> None:
    shutil.make_archive(path, "zip", root_dir=path.parent, base_dir=path.name)
    shutil.rmtree(path)


def main():
    parser = argparse.ArgumentParser()
    parser.add_argument("-p", "--path")
    args = parser.parse_args()
    path = pathlib.Path(args.path)
    
    dirs = [i for i in path.iterdir() if i.is_dir()]
    
    auto_zip(dirs)
    # auto_zip_multi_thread(dirs)


if __name__ == "__main__":
    main()

#!/usr/bin/env python3
# auto_unzip.py
import argparse
import concurrent.futures
import os
import pathlib
import zipfile


def auto_unzip_multi_thread(zips: list[pathlib.Path]) -> None:
    with concurrent.futures.ThreadPoolExecutor() as executor:
        future_to_zip = {executor.submit(unzip_and_remove, z): z for z in zips}
        concurrent.futures.as_completed(future_to_zip)


def unzip_and_remove(path: pathlib.Path) -> None:
    with zipfile.ZipFile(path) as existing_zip:
        existing_zip.extractall(os.path.splitext(path)[0])

    os.remove(path)


def main():
    parser = argparse.ArgumentParser()
    parser.add_argument("-p", "--path")
    args = parser.parse_args()
    path = pathlib.Path(args.path)

    zip_files = [i for i in path.iterdir() if i.suffix[1:] == "zip"]

    auto_unzip_multi_thread(zip_files)


if __name__ == "__main__":
    main()

Comments

[退会済みユーザー]

https://qiita.com/YamaguchiRyuta/items/822c26850c9fa135b499
こちらに、shutil.make_archiveのスレッドセーフ性について検証している記事がありました。

[退会済みユーザー]

ありがとうございます。
改めて"make_archive thread safe"で検索すると公式のissueにも挙がってるんですね。

Answer 1

make_archive()がスレッドセーフでないのが原因。
代わりに、subprocess.run()内でcd, zipコマンドを呼び出すことで解決。

def zip_and_remove_dir(path: pathlib.Path) -> None:
    command = f"cd {str(path.parent)!r} && " \
              f"zip -r {str(path.name) + '.zip'!r} {path.name!r}"
    subprocess.run(command, shell=True, stdout=null)

    shutil.rmtree(path)