質問内コードの__setattr__と、プライベート変数について教えて下さい

Question

以下のコード中のclass GenericWrapper内のコードで分からないところがあります。

#! /usr/bin/env python
# coding=utf-8

def wrap_callable(any_callable, before, after):
    ''' あらゆる呼び出し可能型（callable)を前後にコールを入れる形でラップする '''
    def _wrapped(*a, **kw):
        before()
        try:
            return any_callable(*a, **kw)
        finally:
            after()
    _wrapped.__name__ = any_callable.__name__
    return _wrapped

import inspect

class GenericWrapper(object):
    ''' オブジェクトのメソッド全てを前後にコールに入れる形でラップする '''
    def __init__(self, obj, before, after, ignore=()):
        # __setattr__をバイパスするため__dict__に直接セットするのが必須
        # ゆえにダブルアンダースコア名のためname-manglingの再生成が必要
        clasname = 'GenericWrapper'
        self.__dict__['_{}__methods'.format(clasname)] = {}
        self.__dict__['_{}__obj'.format(clasname)] = obj
        for name, method in inspect.getmembers(obj, inspect.ismethod):
            if name not in ignore and method not in ignore:
                self.__methods[name] = wrap_callable(method, before, after)

    def __getattr__(self, name):
        try:
            return self.__methods[name]
        except KeyError:
            return getattr(self.__obj, name)

    def __setattr__(self, name, value):
        setattr(self.__obj, name, value)

class SynchronizedObject(GenericWrapper):
    ''' オブジェクトとその全メソッドを同期機構でラップする '''
    def __init__(self, obj, ignore=(), lock=None):
        if lock is None:
            import threading
            lock = threading.RLock()
        GenericWrapper.__init__(self, obj, lock.acquire, lock.release, ignore)

if __name__ == '__main__':
    import threading
    import time
    class Dummy(object):
        def foo(self):
            print("Foo")
            time.sleep(1)
        def bar(self):
            print("Bar")
        def baaz(self):
            print("Baaz")
    tw = SynchronizedObject(Dummy(), ignore=['baaz'])
    threading.Thread(target=tw.foo).start()
    time.sleep(0.1)
    threading.Thread(target=tw.bar).start()
    time.sleep(0.1)
    threading.Thread(target=tw.baaz).start()

ここで、２点分からないことがあります。

❶以下のコメント部が何を言っているのかが分かりません。

# __setattr__をバイパスするため__dict__に直接セットするのが必須
# ゆえにダブルアンダースコア名のためname-manglingの再生成が必要

❷self.__methodsとself.__objが何なのか分かりません。
self.__dict__['_GenericWrapper__methods']などと関連があるのでしょうか？

アドバイス頂けたらありがたいです。
宜しくお願いします。

ちなみに上記のコードが書かれている書籍には以下のようなことが書かれています。

このレシピではオブジェクト属性への直接アクセス（getやset）をラップしていない。オブジェクトのロックを考慮しつつ直接アクセスがしたい場合、ラッパーの特殊メソッド__getattr__および__setattr__でそれぞれのビルトイン関数getattrおよびsetattrをコールする周辺にtry/finallyのロッキング・イディオムを加える必要がある。

Comments

[y_waiwai]

それはどこから持ってきたコードなんでしょうか

[ao_tombo]

書籍『第２版Pythonクックブック 』の『9.1 オブジェクト中の全メソッドを同期』からです

[quickquip]

> なぜかダブルアンダースコアが消えています
markdownの書式指定になっているからです。単語の前後を ` で括りましょう。それで 文章中のコード で扱われます。
https://teratail.com/help#about-markdown

[ao_tombo]

できました。ありがとうございます。

[quickquip]

__setattr__ __getattr__ が何かは知っていますか?
https://docs.python.org/ja/3/reference/datamodel.html#object.__setattr__
https://docs.python.org/ja/3/reference/datamodel.html#object.__getattr__

（"分かっていること"の方が書かれていないと何から書き始めればいいか、ってなるのです……）

[ao_tombo]

__setattr__()は、例えばa = A()、a.x = valのような式がある場合に呼び出されるものだと認識していますが？間違っていますでしょうか？

Answer 1

ひとまず①のことは忘れて、うまく動かないけれど分かりやすい途中経過を見るのが②のためにはいいと思いました。

これです。

class GenericWrapper(object):
    ''' オブジェクトのメソッド全てを前後にコールに入れる形でラップする '''
    def __init__(self, obj, before, after, ignore=()):
        self.methods = {}
        self.obj = obj
        for name, method in inspect.getmembers(obj, inspect.ismethod):
            if name not in ignore and method not in ignore:
                self.methods[name] = wrap_callable(method, before, after)

    def __getattr__(self, name):
        try:
            return self.methods[name]
        except KeyError:
            return getattr(self.obj, name)

    def __setattr__(self, name, value):
        setattr(self.obj, name, value)

self.objは単純に初期化子__init__に渡されたobjを参照するのに使っています。
self.methodsはobjの属性の中でメソッドであるものを 名前→wrap_callableでラップした関数 という形のマッピングを保持するのに使っている辞書です。
②の答えはこれで終わりです。

GenericWrapper型のインスタンスxに対して
例えばx.some_attrと参照された時、some_attrが元のobjのメソッドだったらwrap_callableでラップされた関数を返し、そうでなければobj.some_attrの結果を返すのが__getattr__です。
例えばx.some_attr = hogeと代入されたら、obj.some_attr = hogeを実行するのが__setattr__です。

単純にそれだけです。

---

ここにはうまく動かない点と、あまりよくない点があります。それが①に繋がります。

うまく動かない点は__init__の1行目、self.methods = {}です。
self.methods = {}を実行すると、__setattr__が呼び出されてしまうのです。
さらにその中でself.objを参照しています。この時、属性objはまだセットされていませんから属性の解決に失敗して__getattr__も呼び出されてしまうのです。

つまり。
__setattr__と__getattr__が正しく動くためにはself.objとself.methodsが必要
だが
self.objとself.methodsを普通に代入すると準備が終わっていない__setattr__と__getattr__が呼び出されてしまう
のです。

それを回避するために
__setattr__をバイパスするため__dict__に直接セットするのが必須
だと言っているわけです。

---

まだあまりよくない点があります。
このままだとobj自身がmethodsかobjという属性を持っていた時、それらには決してアクセスできません。GenericWrapperでセットしたmethodsかobjが取り出されてしまいます。
これは普通の継承でも起きる話です。
他のクラススタイルのオブジェクト指向プログラミング言語だとprivateアクセス指定子で解決するのが多いでしょう。
Pythonではname-manglingで解決します。
ここはこれ以上解説しません。公式ドキュメントからの引用にとどめます。

https://docs.python.org/ja/3/tutorial/classes.html#private-variables

クラスのプライベートメンバについて適切なユースケース(特にサブクラスで定義された名前との衝突を避ける場合)があるので、名前マングリング (name mangling) と呼ばれる、限定されたサポート機構があります。 __spam (先頭に二個以上の下線文字、末尾に一個以下の下線文字) という形式の識別子は、 _classname__spam へとテキスト置換されるようになりました。

今

self.__methods = {}

と書きたいのですがそれができないため"__dict__に直接セットするのが必須"なのでした。
かわりにこれと等価になるように__dict__にセットするコードを書こうとすると、そこでセットするべき名前はname-manglingの仕様で変換された後の名前でなければなりません。

ゆえにダブルアンダースコア名のためname-manglingの再生成が必要
はそういう意味です。

Comments

[ao_tombo]

回答、ありがとうございます。自分が思っていたよりも複雑なもので驚きました。非常にべんきょうになりました。本当にありがとうございました。