Python multiprocessing.Pool インスタンスメソッドに適用できない件について

Question

こちらのサイトのようにインスタンスメソッドに対してmultiprocessing.Poolは使えないという記事がたくさんありました。しかし自分の環境においては以下のように何故か使えています。
これは記事が古くてすでに改善されたのでしょうか？そのような記事を探しても見つかりませんでした。

from multiprocessing import Pool
import random
import time

class C:
    def f(self, name):
        n = random.randint(1, 5)
        print(name)
        time.sleep(n)
        print("sleep: %ds"%n)

    def run(self):
        pool = Pool(processes=8)
        pool.map(self.f, [1, 2, 3, 4])

if __name__ == '__main__':
    c = C()
    c.run()

$ python test.py
1
2
3
4
sleep: 1s
sleep: 2s
sleep: 3s
sleep: 4s
$ python test.py
1
2
3
4
sleep: 1s
sleep: 4s
sleep: 4s
sleep: 4s

###開発環境
MacOS HighSierra 10.13.6
Python 3.6.5

Answer 1

いつの間にかエラーが出なくなっているみたいですね。以下、手元のDocker環境で試した結果です。

• Python 2.7.15: cPickle.PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed
• Python 3.2.6: _pickle.PicklingError: Can't pickle <class 'method'>: attribute lookup builtins.method failed
• Python 3.3.7: 問題なし
• Python 3.4.8: 問題なし

追記

ちゃんと読んでないけどコレのおかげでエラーが出なくなった？？かも。

Comments

[hayataka2049]

python3.3.7のpickeのプロトコルバージョンっていくつになってますか？
ドキュメントにあたってみた感じ、プロトコルバージョン 4からmethodをサポートしてる雰囲気ですが、python3.4からなんですよね
https://docs.python.jp/3/library/pickle.html#data-stream-format
https://www.python.org/dev/peps/pep-3154/#serializing-more-lookupable-objects

[YouheiSakurai]

docker run -it python:3.3 python -c "from pickle import dumps; print(help(dumps))"
docker run -it python:3.2 python -c "from pickle import dumps; print(help(dumps))"

どっちも「The default protocol is 3;」となってます。

[hayataka2049]

新し目のpython3なら、プロトコルバージョン自体は4でなくてもpickle化できるのですね
となると、違いは__qualname__の有無でしょうか？
https://www.python.org/dev/peps/pep-3155/

[YouheiSakurai]

なんかその辺な感じがしますが、追うのも結構労力がかかるので「多分そのへんだろうなぁ」に留めて置きたいと思います。

[_Victorique__]

わざわざバージョン毎に調べていただいて有り難うございました！

Answer 2

私も使えないと思い込んでいましたが、確かにやってみたらできますね。

参照している記事のエラーもすぐに再現できました。python2で実行するとそうなります。
YouheiSakuraiさんの回答によると、python3.2系以前では再現するようです。

---

multiprocessing.Poolは処理対象の関数や引数をpickle化し、子プロセスに（たぶん）パイプで送ることで並列処理を行っています。

cPickle.PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed

なので昔のpythonではメソッドはpickle化できなかったが、いつの間にかできるようになっていた、ということのようです。

Comments

[_Victorique__]

これは嬉しいですね。
有り難うございました！