Python 3.8.4で並列処理しようとすると、グローバルに存在するコードが4度呼ばれる。

Question

Python 3.8.4で並列処理をしようと考えております。
下記のようなコードを書くと、グローバルに存在する「print("aaaa")」が4度呼ばれます。
なぜでしょうか？また、これを起こさないためにはどうすればよいのでしょうか。

import concurrent.futures as confu
import time

print("aaaa")

def task(v):
        print("start", v)
        time.sleep(1.0)
        print("end", v)

def main():
    print("main start")
# -   -   -   -   処理開始    -   -   -   - #
    with confu.ProcessPoolExecutor(max_workers=3) as executor:
        executor.submit(task, 5)
        executor.submit(task, 10)
        print("submit end")
        
# -   -   -   -   並列処理が終わった後    -   -   -   - #
    print("main end")

if __name__ == '__main__':
    main()

aaaa
main start
submit end
aaaa
aaaa
aaaa
start 5
start 10
end 5
end 10
main end

Answer 1

https://docs.python.org/ja/3/library/multiprocessing.html#contexts-and-start-methods

spawn
親プロセスは新たに python インタープリタープロセスを開始します。(略)

Unix と Windows で利用可能。Windows と macOS でのデフォルト。

ワーカー数の分だけ子プロセスを作り、それぞれがpythonを実行します。
task関数が実行できるようになるためにはそれぞれのPythonでこのモジュールをインポートしなければなりません。（そうしないとtask関数を定義するdef文が実行されません）
したがってモジュールに書いてあるトップレベルの文はそれぞれのPythonで実行されます。

---

子プロセスでインポートされるときのモジュール名が__main__でないことで、マルチプロセッシングによってインポートされたことが区別できます。

https://docs.python.org/ja/3/library/multiprocessing.html#the-spawn-and-forkserver-start-methods を参考にしてください。

Comments

[y_shinoda]

おお、ドキュメントに書いてありますね

最後のリンクは「メインモジュールの安全なインポート」ってタイトルのところに・・

> 代わりに、次のように if __name__ == '__main__': を使用して
> プログラムの "エントリポイント" を保護すべきです

[quickquip]

残念なことにそこにアンカーがないんです…

[GUWAGUWA]

ご回答ありがとうございます！
ワーカ分モジュールをインポートするから、print("aaaa")もワーカ分+１回実行されるんですね！
ありがとうございます！

Answer 2

これを起こさないためにはどうすればよいのでしょうか。

こういう場合のために main() があると言えます:

import concurrent.futures as confu
import time


def task(v):
        print("start", v)
        time.sleep(1.0)
        print("end", v)

def main():
    print("aaaa")
    print("main start")
# -   -   -   -   処理開始    -   -   -   - #
    with confu.ProcessPoolExecutor(max_workers=3) as executor:
        executor.submit(task, 5)
        executor.submit(task, 10)
        print("submit end")

# -   -   -   -   並列処理が終わった後    -   -   -   - #
    print("main end")

if __name__ == '__main__':
    main()

なぜでしょうか？

おそらくですが、
関数が実行される際に max_workers で指定した回数だけ
このモジュールが評価されるコードになっているのだと思われます

詳細を調べる場合は、コードを追っていけば、いつかは該当の処理が見つかるものと思われます:
cpython/init.py at v3.8.4 · python/cpython

(かなり奥深いところのようなので、僕は調査を断念しました)