Pythonの変数の変化を検知してEventを起こしたい

Question

Windows10 Python3.5 64bit

複数のスレッドで共通の変数を操作している時に、
dict, set, listやint, str, boolなどの変数の変更によりイベントを起こしたいです。

どなたか良さそうなライブラリを知りませんでしょうか？

有難うございます。どうやらobserverが目的とする動作を示す単語のようです。検索により目的を満たしそうなライブラリを発見できました。

追記

Observerについて検索した所、event-based programs というものらしくRxPY を発見する事ができました。しかし目的とは異なるやり方のようです。
変数を操作する側には、通常のBuildinのように扱わせて、on_changeを上書きすることなどにより変化を間接的に検知したいと考えています。例えば、KivyのWidgetの変数はint, str, listなどですが操作性が通常のBuildinと同様にもかかわらずユーザー側で変化させると自動的に描写を変化せてくれます。

調べていたら目的にほぼ合致するQ&Aを発見しました。
how-to-trigger-function-on-value-change?

Comments

[KSwordOfHaste]

「python observable」など調べてみたことを明記すべきと思います。

[tachikoma]

PyQtにそんなイベントトリガー仕込むAPIがあった気がしなくもない。

Answer 1

追記：自分の回答はオブジェクトの属性（インスタンス変数・クラス変数など）」を代入によって更新したことを監視する場合について述べてます。dict, listなどmutableなオブジェクトの値の変化(要素を追加したり書き換えたりしたときの変化)は自分のコメントで書いた方法の対象外です。つまり

instance.int_attribute = 1は監視できますが
instance.dict_attribute['key'] = 1は監視できません。

これを監視するならmkgreiさん回答にある方法で行う必要があると思います。

---

質問者さんがお望みの機能がどういう感じのものかはっきりわかっていないので外してるかもしれませんが

KivyのWidgetの変数はint, str, listなどですが操作性が通常のBuildinと同様にもかかわらずユーザー側で変化させると自動的に描写を変化せてくれます

これはint, str, list自身に監視可能な機能がついているのではなく、widgetの属性を変更する(setattr(widget, '属性名'))際にfookを掛けているような仕組みではないのかなぁと想像してます（詳細を知らずに想像でのコメントです）

一例ですが__setattr__を定義しておくと任意の属性にアクセスしたときの振る舞いを制御できます。

In [1]: class A:
   ...:     def __setattr__(self, name, value):
   ...:         print(f'{name} <= {value}')
   ...:         super().__setattr__(name, value)
   ...:
In [2]: a = A()
In [3]: a.a = 1
a <= 1

上記のprint(...)の部分を例えばself.on_change(name, value)といった呼び出しに変更しておくと、on_changeという属性(メソッド)に適当な処理を書いておけば属性が変更される度に「何かする」ことができそうです。__setattr__に「特定の属性だけ監視」などの工夫を入れ込むのもPythonなら手軽にできそうですね。

この程度のものでよいのでしたらRxPYでちょっと仕様が気に入らないという場合に最小限のフックを定義できるようなものが自前でも定義できそうな気もします。（それを実装済みのライブラリーが使えれば一番いいのはもちろんですが・・・）

またtachikomaさんがコメントしておられるPyQtの機能がこうしたものに似たものか違うものかはスミマセンがPyQtを知らないのでわかりません。

Answer 2

例えば、KivyのWidgetの変数はint, str, listなどですが操作性が通常のBuildinと同様にもかかわらずユーザー側で変化させると自動的に描写を変化せてくれます。

こんな感じですかねぇ？

def dosomething():
    print("何かする")

class MyDict(dict):
    def __init__(self, *args, **kargs):
        super(MyDict, self).__init__(*args, **kargs)
    
    def __getitem__(self, key):
        dosomething()
        return super(MyDict, self).__getitem__(key)

    def __setitem__(self, key, val):
        dosomething()
        super(MyDict, self).__setitem__(key, val)

d = MyDict({10:10, 15:15})
print(d)
d[20] = 20
print(d[10])
print(d[20])
""" # =>
{10: 10, 15: 15}
何かする
何かする
10
何かする
20
"""

追記

これだけじゃ役に立たないので、この方法を使うならオーバーライドするべきメソッドの一覧を示しておきます。変化した場合だけで、dictの場合。もしかしたら漏れ、間違いがあるかもしれない（保証はしません。自分でも調べて・・・）。

• __init__ 必要なら
• __setitem__
• __delitem__
• clear
• pop
• popitem
• setdefault
• update

Comments

[hayataka2049]

あ、mkgreiさんのリンク先とほぼ同じだった。しかも、そっちの方がsuper()とか使うよりスマートな気もします・・・（珍しくpythonのself非省略がちゃんと役に立ってるのを見た気がする）

Answer 3

https://stackoverflow.com/questions/21510223/python-3-hook-list-dict-changes

自作クラスでObserverパターンに書き換えるのが妥当であると思います。

---

https://qiita.com/monoquro/items/ff1f862eb37ee2d8c389

書き換えるのはいろいろと考えないといけないので。
それでもというのであれば止めませんが。

Answer 4

「int, str, bool」を格納している変数の変化を検知するためには、locals()で得られるdictオブジェクトを監視することになると思います。

print("i" in locals())  # iが未定義だとFalseが返る
i = 0
print("i" in locals())  # iが定義されるとTrueが返る
print(locals()["i"])  # iの現在の値、0が返る
i = 1
print(locals()["i"])  # iの現在の値、1が返る

でも、以下のように素直にオブジェクトの変更をフックしようとしてもAttributeError: 'dict' object attribute '__setitem__' is read-onlyとなってしまうので、たぶん監視用のスレッドを別立てして変更を検知するのがいいんじゃないかと思います。

def hook(fn):
    def inner(*args, **kwargs):
        print(*args, *kwargs.items())
        return fn(*args, **kwargs)
    return inner

locals().__setitem__ = hook(locals().__setitem__)

追記：ビジーループでwatcherを書いてみた

locals()が返す辞書を監視してもlocals()を呼ばないと辞書の内容が更新されないということがわかったので、最終的にフレームを監視することにしました。でも、ビジーループで監視しているので、CPU使用率が上がってしまう悪い例です。その点は留意ください。

from copy import deepcopy
from inspect import currentframe
from threading import Event
from threading import Thread
from threading import Lock


class LocalsWatcher(Thread):
    def __init__(self, frame):
        super().__init__()
        self.frame = frame
        self.targets = {}
        self.lock = Lock()
        self.stopping = Event()

    def add(self, name, callback):
        with self.lock:
            self.targets[name] = (
                deepcopy(self.frame.f_locals.get(name)), callback)

    def remove(self, name):
        with self.lock:
            self.targets.pop(name, None)

    def stop(self):
        self.stopping.set()

    def run(self):
        while not self.stopping.is_set():
            with self.lock:
                for name in self.targets:
                    original, callback = self.targets[name]
                    current = self.frame.f_locals.get(name)
                    if current != original:
                        callback(name, original, current)
                        self.targets[name] = (deepcopy(current), callback)

    def __enter__(self):
        self.start()
        return self

    def __exit__(self, *_):
        self.stop()


def main():
    with LocalsWatcher(currentframe()) as watcher:
        watcher.add("i", print)
        for i in range(10):
            pass


if __name__ == "__main__":
    main()

Comments

[KSwordOfHaste]

locals()は現在実行している関数のローカル変数の名前空間ですがそれは関数の実行が開始される度に生成されるものなのでローカル変数の更新を監視するなら関数が起動される度にhookしなくてはならないと思います。挙げておられる例はモジュールのトップレベルなのでlocals()もglobals()も典型的に同じdictになりますが、locals()/globals()の元々の意味合いは違うものと思います。

[YouheiSakurai]

locals()で生成した辞書の更新タイミング/トリガについて、私自身が回答した時点で知らないことがありましたが、書いてみてもちゃんと書ききれたので、特におっしゃられている点で違うところはないです。追記分のコードを参照してください。

[KSwordOfHaste]

なるほど、watcher.addを呼び出した時点でのコンテキスト内にあるローカル変数を監視する仕組みが書けますよということですね。よくわかりました。

[KSwordOfHaste]

挙げておられるコードは興味深かったです。別スレッドで変数の変化を監視してますが、「変更する度に逐次コールバックをトリガーする」のではなく「適当なタイミングで最新の値が変わっていたらトリガーする」となっているので、頻繁に変数を変更するような場合でも余計なトリガーが発生しないのでUIにうまく使うとおもしろいことができそうに思いました！

[YouheiSakurai]

良かったです。:)