pythonでオブジェクトごとに作ったインスタンスの数を数えたい

Question

実現したいこと

pythonでオブジェクトごとに、同じクラスから作ったインスタンスの数を数えたいです。
できれば呼び出されたクラス側でカウントをしていきたいです。
よろしくお願いいたします。

該当のソースコード

class Base():
    def __init__(self):
        self.obj = Product()
        self.obj = Product()

class Product():
    num = 0
    def __init__(self):
        Product.num += 1
        print(Product.num)
    
if __name__ == '__main__':
    test1 = Base()
    test2 = Base()
    
# これをインスタンスごとに独立にnumを増やしたい
# Productを改変して、結果が1234 ではなく1212となるようにしたい

試したこと

クラス変数ではなく、インスタンス変数にすると常に１になってしまう。
inspect()では呼び出し元のインスタンス名の取得の仕方がわからなかった。

補足情報（FW/ツールのバージョンなど）

python3

Answer 1

import inspect

class Base():
    def __init__(self):
        self.obj = Product()
        self.obj = Product()

class Product():
    def __init__(self):
        base = inspect.stack()[1].frame.f_locals['self']
        base.num = getattr(base, 'num', 0)
        base.num += 1
        print(base.num)
    
if __name__ == '__main__':
    test1 = Base()
    test2 = Base()

# 1
# 2
# 1
# 2

Comments

[lukkio]

ご回答ありがとうございます。

このコードでは実行処理が順にstackに入っており、[1]でクラスを呼び出した処理（フレーム）を呼び出し、
（[0]はProduct自身の処理？）
frame.f_localsで呼び出した処理の所属するローカルの名前空間の自身のIDを獲得しbaseにIDを代入。
getattrでbaseにnumというインスタンス変数を作り、呼び出しごとに数を足していく。
baseは呼び出し側のオブジェクトの参照（Baseのインスタンス:test1, test2）なので
test1,test2それぞれ独自のnumを増やせる
ということでしょうか？

つまり基本的にはBaseにインスタンス変数を保持させるが、質問のBaseのコードを改変しないという縛りのなかで実行できるという認識で合っていますでしょうか？

わからないのは名前空間で
>>print(inspect.stack()[1].frame.f_locals['self'])
<spyder_kernels.console.shell.SpyderShell object at 0x000001D518E33E50>

なぜshell自身がもっているのかよく解らず（たしかに実行環境が名前空間の範囲を知らなければならないというのは理にかなっている気がしますが）、
名前空間というものをもっと深く知る必要があると感じました。
（エンジニアではない初心者が、そこまで知る必要はないのかもしれませんが・・・）

とても勉強になりました。

[melian]

> つまり基本的にはBaseにインスタンス変数を保持させるが、質問のBaseのコードを改変しないという縛りのなかで実行できるという認識で合っていますでしょうか？

はい、その通りです。

> わからないのは名前空間で

Spyder をお使いなのですね。できればコマンドラインで実行してみて下さい。

[lukkio]

>コマンドラインで実行してみて下さい。
これはIDEで、変数を確認せよという意味であっていますでしょうか？

spyderのvariable Exprorerを調べて少しわかってきました。フレームを持っているのも、名前空間を持っているのもshellなわけですね。shellがフレームのスタックを持ち、それぞれのフレームの名前空間を把握することで変数の範囲を制御してるということですね。
この考えが合っているのかは分かりませんが、インタープリター型の言語がどう動いているのか少しわかった気がしました。

Answer 2

GCによるオブジェクトの破棄は考えなくても大丈夫ですか？

呼び出されたクラス側でカウント

呼び出し元のインスタンスに依存するのは、
クラスの設計的に、Baseに依存するならカウントは Base 側で行わないと
Productクラスの再利用性が犠牲になります。

実質 Base クラス内でしかインスタンスを生成できなくなり、
functools.partial lambda での利用ができなくなったり、
単体テストを作成するのにひと手間必要になり、利便性が損なわれます。

class Base:
    def __init__(self):
        self.count = 0
        self.obj = Product(self)
        self.obj = Product(self)

class Product:
    # NOTE: 明示的に baseオブジェクトを渡す
    def __init__(self, base):
         assert isinstance(base, Base)
         base.count += 1
         self.base = base

    # ※ デストラクタを考慮するかどうかは、要件次第
    def __del__(self):
         self.base.count -= 1


# 明示的に渡すことで、Base 外でも base を与えれば Product のインスタンスを作れるようになります。
# => 単体テストや lambda での利用に配慮

Base 側でカウントする場合は、
Product のデストラクタをどう検知するかという問題がでてきますが、
weakref.WeakSet を使うことで、解消できます。

from weakref import WeakSet

class Base:
    def __init__(self):
        self._counter = WeakSet() # 生存しているオブジェクトのみを数える場合
        self._total = 0 # 累計の生成数をカウントしたい場合

        self.obj = self.createProduct()
        self.obj = self.createProduct() # この時点で前に生成した self.obj は破棄される

    def createProduct(self, *args, **kw):
        obj = Product(*args, **kw)
        self._counter.add(obj)
        self._total += 1
        return obj

    @property
    def total(self):
        return self._total

    @property
    def count(self):
        return len(self._counter)

class Product:
    def __init__(self, num=0):
        self.num = num

    def __repr__(self):
        return f"<{self.__class__.__name__} {self.num=}>"


if __name__ == "__main__":

    base  = Base()
    print(base) # 1
    obj = base.createProduct()
    print(base.count) # 2
    del obj
    print(base.count) # 1

    from functools import partial
    create10 = partial(base.createProduct, 10)
    obj = create10()
    print(obj)
    print(base.count) # 2

    create12 = lambda: base.createProduct(12)
    obj2 = create12()
    print(base.count) # 3

Comments

[lukkio]

ご回答ありがとうございます。

たしかにオブジェクト指向に反する設計であり、Product側にカウントを保持させるのは危険ですね。
設計から見直すべきというのはその通りかと思います。

WeskSetを使う方法は
WeakSet型の_counterというオブジェクトを追加していき、その数を数えることによってインスタンスの数を把握するということですね。
WeakSetをつかっているのでオブジェクトを破棄したときに、_counter内のオブジェクトも破棄され、
GCのタイミングなどが関係がないということでしょうか。

一つ疑問は、クラスの再利用性が悪くなるのは分かるのですが、functools.partialでの利用ができなくなるというところが調べても解りませんでした。
Product側にカウントさせると、２つめのコード例でいうと”せっかくcreate10という新たなメソッドを作っているのに、Product側にすでにカウントが入ってしまっているので、
まったく新しいメソッドにならなくなってしまう”、ということでしょうか？
なにぶん、オブジェクト指向を学んで半年もたっていないので、なかなか理解が追いつかず申し訳ありません。

回答的にはお二方の回答が同じくらい勉強にあったのですが、注釈があった分勉強しやすかったという点でベストアンサーにさせていただきます。
お二人ともありがとうございました。

[lukkio]

今更ですが、勉強しているうちになぜProduct側にカウントさせたかったを忘れていました。

実際のコードではBaseはファクトリーメソッドパターンによってProductを作っており、
Base側にカウントさせてしまうと、ファクトリーによって異なったProductをつくってもカウントを増してしまうことが問題でした。
そのためにファクトリーで作ったProduct側にカウントさせたかったので、この質問になりました。

inspectを使う方法WeskSetを使う方法を試しましたがうまくいきませんでした。

回答を締め切ってしまったので、テストコードを作ったら新たに質問したいと思います。

[teamikl]

> Product側にカウントを保持させるのは危険ですね。

設計次第ではProduct側に移譲でも問題ないですが。
問題点として挙げたいのは主に、「コールスタックを使った」呼び出し元のインスタンス参照であり、
これにより様々な制限が生じます。→回答の一つ目のコードは、明示的に引数で渡すことである程度制限を緩和

> GCのタイミングなどが関係がないということでしょうか。

追記: WeakSet の挙動に関するに理解は、おおむねその通りです。

タイミングは関係ありますが、おそらく想定されているタイミング
GCの参照カウントのタイミングと、
実際にオブジェクトが収集・破棄されるタイミングで異なります。

> functools.partialでの利用ができなくなるというところが調べても解りませんでした。

ここはpartial だとうまくいくので、例が適切でなかったです。回答を訂正します。
例えば、lambda だと呼び出し元のフレームが変わってしまうので

# Base.__init__ 内で
# func = lambda: Product() # ERROR
# func = lambda self=self: Product() # 回避策はありますが、呼び出し元が深くなると self をそこまで伝搬しないといけない手間が発生
func = functools.partial(Product)# OK
func()

> テストコードを作ったら

ここが一番の問題で、テストコードを作るなら実際に困るはず
呼び出し元依存だとBase クラス内でしか Product の単体テストができなくなってしまいます。

[lukkio]

>「コールスタックを使った」呼び出し元のインスタンス参照
なるほどこれはつまり、オブジェクトの相互参照をしてしまうので、結合度がより上がってしまうということですね。そこまで考えていませんでした。

>例えば、lambda だと呼び出し元のフレームが変わってしまうので
つまりlambda式自体がフレームを一つ増やしてしまうので、扱いが厄介になるということですね。

>呼び出し元依存だとBase クラス内でしか Product の単体テストができなくなってしまいます。
これに関しては、もう少しクラス設計の見直しと、質問の仕方を練ってから新たに質問をしたいと思っています。
ありがとうございました。