python勉強本でわからなかったこと

Question

ゼロから作るDeep Learning3という本を読んでpythonの勉強をしています。

勉強しているコード

class Variable:
    def __init__(self, data):
        self.data = data
        self.grad = None
        self.creator = None

    def set_creator(self, func):　#←ここがわからないです。creatorを設定するためのメソッドらしいです。
        self.creator = func

    def backward(self):
        f = self.creator  # 1. Get a function
        if f is not None:
            x = f.input  # 2. Get the function's input
            x.grad = f.backward(self.grad)  # 3. Call the function's backward
            x.backward()


class Function:
    def __call__(self, input):
        x = input.data
        y = self.forward(x)
        output = Variable(y)
        output.set_creator(self)  # Set parent(function)
        self.input = input
        self.output = output  # Set output
        return output

    def forward(self, x):
        raise NotImplementedError()

    def backward(self, gy):
        raise NotImplementedError()


class Square(Function):
    def forward(self, x):
        y = x ** 2
        return y

    def backward(self, gy):
        x = self.input.data
        gx = 2 * x * gy
        return gx


class Exp(Function):
    def forward(self, x):
        y = np.exp(x)
        return y

    def backward(self, gy):
        x = self.input.data
        gx = np.exp(x) * gy
        return gx


A = Square()
B = Exp()
C = Square()

x = Variable(np.array(0.5))
a = A(x)
b = B(a)
y = C(b)

# backward
y.grad = np.array(1.0)
y.backward()
print(x.grad)

関数と変数の「つながり」をこーどに入れるには、通常の計算（順伝播）がおこなわれるタイミングで、上記コードのうち、下記の部分が該当するそうです。

該当のソースコード

　　　self.creator = None

    def set_creator(self, func):　
        self.creator = func

set_creatorというメソッドはいつ使われていますか。
コードとしては存在しているものの使われていない気がしてしかたないです。
例えば__init__(self, data)は

x = Variable(np.array(0.5))

のコードで最初に呼ばれるんですよね。
backward(self)も

y.backward()

で実行されていると思います。
###質問したいこと
では、

set_creator(self, func)

は実行されるタイミングはいつでしょうか。
この本の後のほうのページをみてもイマイチ登場している気配を感じないです。

y.set_creator

のような記述があればまだわかるのですが。。

それとbackwardの使い方ですが、
y.Variable().backward
みたいな記述じゃなくて、クラスを飛ばして
y.backwardで成り立つのはなぜですか。
基礎からやり直してきてくださいと回答者さんから怒られそうですが、
基礎の本を勉強してても足し算やprinfのような、もっと基礎なことしか書いてなくて
該当の部分を見つけれずに困っています。ドットの部分はなんの説明もない本ばかりあたっています。
どうかお力を貸してください。
こういう基礎的な部分を勉強できるおすすめの方法も知っていたら教えてください。

Answer 1

set_creatorというメソッドはいつ使われていますか。

        output = Variable(y)
        output.set_creator(self)   ← ここですね

それとbackwardの使い方ですが、
y.Variable().backward
みたいな記述じゃなくて、クラスを飛ばして
y.backwardで成り立つのはなぜですか。

たしかにややこしいですかね。

まず y というのは y = C(b) ですよね。
で、 C というのは C = Square() ですね。

なので、 C には Square class の instance が入っています。
Square class は Function を継承しています。で、Function class には __call__() というメソッドがあります（ので Square にもあることになります）。これはPythonのルールですが、Instance を () で呼び出すと この __call__() が定義されていれば呼び出されます。

つまり、C(b) というのは Function.__call__() の結果が入ることになります。
で、その結果というのは、

        output = Variable(y)
        ...
        return output

となっているので、 Variable classのInstance になります。
なので、
y.backward() は Variable#backward() が呼ばれていることになります。
※ ややこしい...

---

余談ですが、例えば、

print(type(y))

とかすると、 y の 型 (この場合はたぶん Variable) とか表示されるので、
なんだかわからないときにちょっと便利です。

PyCharmなどのIDEを使えばDebug実行してBreakpointを張って停止すると、もっと色々Objectの中身とか簡単に調べられますよ。

Comments

[tomomonX]

ありがとうございます。理解できました^^