Pythonの並列処理に関して

Question

Python初心者の者です。
Pythonで並列処理を実装したく、調べてみるとjoblibという外部モジュールで簡単に書けるということでした。
ひとまずネットの記事を参考にしてコーディングしてみました。

# -*- coding: utf-8 -*-
from sklearn.externals.joblib import Parallel, delayed
from time import time

def process(n):
    return sum([i*n for i in range(10000)])

start = time()

r = Parallel(n_jobs=-1)( [delayed(process)(i) for i in range(10000)] )
print(sum(r))

print('{0} sec'.format(time() - start))

すると

5Process Process-6:
Traceback (most recent call last):
  File "C:\Python27\lib\multiprocessing\process.py", line 258, in _bootstrap
 0Process Process-1:
Traceback (most recent call last):
  File "C:\Python27\lib\multiprocessing\process.py", line 258, in _bootstrap
    self.run()
  File "C:\Python27\lib\multiprocessing\process.py", line 114, in run
    self._target(*self._args, **self._kwargs)
  File "c:\python\test.py", line 6, in f
    print number, os.getppid(),os.getpid()
AttributeError: 'module' object has no attribute 'getppid'
   self.run()

このようなエラーメッセージが延々と出てきてしまいました。

そこで

from sklearn.externals.joblib import Parallel, delayed
from time import time

try:
    def process(n):
        return sum([i*n for i in range(10000)])

    start = time()

    r = Parallel(n_jobs=-1)( [delayed(process)(i) for i in range(10000)] )
    print(sum(r))

    print('{0} sec'.format(time() - start))
except:
    print('error')

このようにtryとexceptを追加して実行してみると

error
error
error
error
2499500025000000
5.7009999752 sec

結果はこのようになりました。
自分はerrorが一つだけ表示されるものだと思っていたのでなぜこのようになったのか教えていただきたいです。
ちなみに五行目の計算結果は正しいです。

Answer 1

https://pythonhosted.org/joblib/parallel.html#common-usage
によると、Windows環境では Parallel は if __name__ == '__main__': でガードしないと再帰呼び出しされてしまうようです。

以下のようにすることで

# -*- coding: utf-8 -*-
from joblib import Parallel, delayed
from time import time

def process(n):
    return sum([i*n for i in range(10000)])

if __name__ == '__main__':
    start = time()

    r = Parallel(n_jobs=-1)( [delayed(process)(i) for i in range(10000)] )
    print(sum(r))

    print('{0} sec'.format(time() - start))

エラーなく終了しました。

c:\Python27>python "test.py"
2499500025000000
2.89499998093 sec

Comments

[i.natsuki]

すごくわかりやすかったです。
丁寧にご説明していただきありがとうございます！