質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.58%

Python multiprocessing.Pool インスタンスメソッドに適用できない件について

解決済

回答 2

投稿

  • 評価
  • クリップ 1
  • VIEW 2,108

_Victorique__

score 1258

こちらのサイトのようにインスタンスメソッドに対してmultiprocessing.Poolは使えないという記事がたくさんありました。しかし自分の環境においては以下のように何故か使えています。
これは記事が古くてすでに改善されたのでしょうか?そのような記事を探しても見つかりませんでした。

from multiprocessing import Pool
import random
import time

class C:
    def f(self, name):
        n = random.randint(1, 5)
        print(name)
        time.sleep(n)
        print("sleep: %ds"%n)

    def run(self):
        pool = Pool(processes=8)
        pool.map(self.f, [1, 2, 3, 4])

if __name__ == '__main__':
    c = C()
    c.run()
$ python test.py
1
2
3
4
sleep: 1s
sleep: 2s
sleep: 3s
sleep: 4s
$ python test.py
1
2
3
4
sleep: 1s
sleep: 4s
sleep: 4s
sleep: 4s

開発環境

MacOS HighSierra 10.13.6
Python 3.6.5

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

+2

いつの間にかエラーが出なくなっているみたいですね。以下、手元のDocker環境で試した結果です。

  • Python 2.7.15: cPickle.PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed
  • Python 3.2.6: _pickle.PicklingError: Can't pickle <class 'method'>: attribute lookup builtins.method failed
  • Python 3.3.7: 問題なし
  • Python 3.4.8: 問題なし

 追記

ちゃんと読んでないけどコレのおかげでエラーが出なくなった??かも。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/11/01 18:06 編集

    新し目のpython3なら、プロトコルバージョン自体は4でなくてもpickle化できるのですね
    となると、違いは__qualname__の有無でしょうか?
    https://www.python.org/dev/peps/pep-3155/

    キャンセル

  • 2018/11/01 18:43

    なんかその辺な感じがしますが、追うのも結構労力がかかるので「多分そのへんだろうなぁ」に留めて置きたいと思います。

    キャンセル

  • 2018/11/29 14:06

    わざわざバージョン毎に調べていただいて有り難うございました!

    キャンセル

+1

私も使えないと思い込んでいましたが、確かにやってみたらできますね。

参照している記事のエラーもすぐに再現できました。python2で実行するとそうなります。
YouheiSakuraiさんの回答によると、python3.2系以前では再現するようです。


multiprocessing.Poolは処理対象の関数や引数をpickle化し、子プロセスに(たぶん)パイプで送ることで並列処理を行っています。

cPickle.PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed

なので昔のpythonではメソッドはpickle化できなかったが、いつの間にかできるようになっていた、ということのようです。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/11/29 14:05

    これは嬉しいですね。
    有り難うございました!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.58%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る