Pythonの__call__メソッドと、Pytorchのクラスについて

Question

呼び出し可能オブジェクトの振る舞いについて疑問があります。

以下のコードでimport文は省略しました。

INPUT_FEATURES = 640 * 640
HIDDEN = 100
OUTPUT_FEATUERS = 4

class Net(nn.Module):
    def __init_(self):
        super().__init__()
        self.layer1 = nn.Linear(INPUT_FEATURES, HIDDEN)
        self.layer2 = nn.Linear(HIDDEN, HIDDEN)
        self.layer3 = nn.Linear(HIDDEN, OUTPUT_FEATUERS)
        
    def forward(self, x):
        x = self.layer1(x)
        x = self.layer2(x)
        x = self.layer3(x)
        return x

net = Net()

このコードで、例えば、self.layer1()はnn.Linearのインスタンスで、nn.Linearクラスは__call__メソッドを
持っている。だから、x = self.layer1(x)でnn.Linear内のメソッドである、forward(self, x)が
実行されることはわかります。
しかし、net(data)で、上記Netで定義したforwardが実行される理由がわかりません。
これは、Netクラスがnn.Moduleを継承しているからでしょうか。
もし、そうであるなら、nn.Moduleを継承したクラスを実装したい場合、順伝播のメソッドはforwardという名前にしないと
いけないのでしょうか。

Answer 1

• Netクラスがnn.Moduleを継承しているからでしょうか。

はい。

• nn.Moduleを継承したクラスを実装したい場合、順伝播のメソッドはforwardという名前にしないといけないのでしょうか。

ソースを見る限りでは、self._forward_pre_hooksなどを設定すれば別のものに変更可能なようですが、普通はforwardメソッド使うのでしょう。

ソースを見たければ、以下を行い、その結果のディレクトリの中のmodules/module.pyの中で、＿＿call＿＿を検索してください。(アンダーバーは小文字のアンダーバーにかえてください)

from torch import nn
print(nn.__path__)

Answer 2

基本的におっしゃる通りです。

nn.Moduleのソースを見れば確認できますが、nn.Moduleクラス内に、forward()メソッドはdefで定義されていませんが、self.forward()は呼び出されています。つまり、継承したクラス内でforwardは定義しなければなりません。

ソース:
https://github.com/pytorch/pytorch/blob/master/torch/nn/modules/module.py

Comments

[fu_3823]

ありがとうございました。ソースでself.forward()が呼び出されてるということに思い至りませんでした。