pythonのclassを使ったコードと等価な展開コードを作る

Question

前提

参考書籍から抜粋編集したコードです。
これをよく理解するために、汎用性を考えずに、classを使わずに展開する等価なコードはどのようになりますか。
この展開形でも同じ動作をすること。
ここではclassを使う方が理解しやすいとの意見は無しとさせていただきます。
等価な展開形ができなければ理解したことにならないので。

該当のソースコード

hidden_dim=100
output_dim=10

class MLP(tf.keras.Model):
    def __init__(self, hidden_dim, output_dim):
        super().__init__()
        self.fc1 = tf.keras.layers.Dense(hidden_dim, activation='relu')
        self.dropout = tf.keras.layers.Dropout(0.50)
        self.fc2 = tf.keras.layers.Dense(output_dim, activation='softmax')

    def call(self, x):    #  MLPのインスタンスからコールバックされる関数
        x = self.fc1(x) 
        x = self.dropout(x)
        x = self.fc2(x) 
        return x

#呼び出し条件１の設定
model = MLP(arg1,arg2)　　　#　呼び出しno.1

#呼び出し条件２の設定
model = MLP(arg1,arg2)　　　#　呼び出しno.2

試したこと

考えた展開形ですが、まったく自信がありません。

hidden_dim=100
output_dim=10

def call(self, x):    #  MLPのインスタンスからコールバックされる関数
    x = self.fc1(x) 
    x = self.dropout(x)
    x = self.fc2(x) 
    return x

#    super().__init__(hidden_dim, output_dim)
fc1 = tf.keras.layers.Dense(hidden_dim, activation='relu')
dropout = tf.keras.layers.Dropout(0.50)
fc2 = tf.keras.layers.Dense(output_dim, activation='softmax')


#　呼び出しno.1
x = fc1(x) 
x = dropout(x)
x = fc2(x) 

#　呼び出しno.2
x = fc1(x) 
x = dropout(x)
x = fc2(x) 

Comments

[jbpb0]

> sequentialモデルとの違いが、少々分かりかねている

https://developers-jp.googleblog.com/2019/03/what-are-symbolic-and-imperative-apis-in-tensorflow-2-0.html
の、「シンボリック API のメリットと制限事項」と「命令型 API のメリットと制限事項」
を見てください

> class MLP(tf.keras.Model):

は、上記Webページの「命令型（モデル サブクラス化）API」です

[jbpb0]

https://note.nkmk.me/python-tensorflow-keras-basics/
も参考になると思います
同じモデルを、下記の三通りの方法で書いてます
・Sequential API：シンボリック（宣言型）API
・Functional API：シンボリック（宣言型）API
・Subclassing API (Model Subclassing)：命令型（モデル サブクラス化）API

[meg_]

参考書籍が何か分かりませんが、「等価な展開形ができなければ理解したことにならない」がスクラッチから実装することを意味するのであれば、ゼロから作るシリーズの書籍が参考になると思います。

[sigefuji]

別な表現にしてみます。
MLPが呼ばれると以下のような処理の流れになる。
このような理解をしましたが、正しいでしょうか、それともどこか間違っていますか。
どれも全く間違っていると残念です。

１．MLPが呼ばれる
２．initが実行される
３．tf.keras.layers.Denseを呼ぶ（modelの定義段階）
４．tf.keras.layers.Dropoutを呼ぶ（modelの定義段階）
５．tf.keras.layers.Denseを呼ぶ（modelの定義段階）
　　（どこかでMLPのインスタンスができる）
　　インスタンスからcallがcallbackされ、次が実行される。
６．ｆｃ１
７．dropout
８．ｆｃ２
９．callの戻り値としてmodelのオブジェクトｘが返る

[sigefuji]

jbpb0さん
3通りの方法のうち最初の2通りについては、ある程度その役割効果はおおよそ（中身でなく）知っています。
参考委書籍は件の本で、５章５節です。エッセンスだけ拾っています。
この質問はこれら3通りのうち、シーケンシャルモデルで、表現形式がことなるだけであろうと理解しています。ですので、何らかのシーケンシャルな記述ができるのではないかと考えたのが質問の趣旨です。

＞等価な展開形ができなければ理解したことにならない」がスクラッチから実装すること
の意味がわかりません。
なお理解と言う言葉にはそれほどの強い意味はありません。語彙力に乏しく適当な日本語が思いつきませんでした。

これらのことまで推し量って質問文に含めるのは難しいです。

[sigefuji]

もしかすると、define and run と　define by runとの違いがあると質問が成り立たないだろうとは思いますが。また自動微分の方式違いがあるとこれまただめですね。いずれも、今回のkerasでは同一と思っているのですが・・・。

[jbpb0]

質問者さん

>＞等価な展開形ができなければ理解したことにならない」がスクラッチから実装すること

> の意味がわかりません。

は、誰に向けたものですか？

[sigefuji]

meg_さん
参考書籍は”物体画像認識時系列データ処理入門”の５章５節です。
質問で提示したコードの範囲で良いかと思いましたが、やはり他の部分もないとつじつまが合わないようでした。
＞等価な展開形ができなければ理解したことにならない」がスクラッチから実装すること
の意味がわかりません。
ゼロからシリーズの1巻と3巻を見ていますが、そのどのような種類の項目が参考になりますか。

[sigefuji]

ｊｂｐｂ０さん
＞等価な展開形ができなけ
の件。宛先を間違えました。失礼しました。

３通りの方法の内、3番目が質問のスタイルなのですね。今朝落ち着いて読んでみました。
NNの構築実装方法の違いはわかりました。その功罪、制限事項も色々記述されていましたが、理解できたのは一部です。しかし、かなり理解が進みました。

Answer 1

tf.keras.Model の中身も実装しなければならないので、これは等価ではありません。
中身はkerasのソースを調べればわかるでしょう。

Comments

[sigefuji]

ご返事ありがとうございます。
kerasの中身までわかる（展開する）必要があるとのことですが、残念ながらわかりません。
展開形のどの部分に問題があることになりますか。（実現できない所があるなど）
展開形の呼び出し１から呼び出し２の部分は少なくと良いとおもうのですが。

[TakaiY]

クラスを継承すると、superクラスの機能のすべても継承しているということなので、クラスを使わなのであれば、その機能を全てではなくとも実装する必要があります。
たとえば、MLP(arg1,arg2) の呼び出しではインスタンス化が行なわれ initが呼ばれますが、そこで`super().__init__()`を呼んでますよね。その処理は親クラスのソースを見ないとわかりませんね。

ソースは、
ドキュメント(https://www.tensorflow.org/api_docs/python/tf/keras/Model)からたどれます。
これですねソース(https://github.com/keras-team/keras/blob/v2.10.0/keras/engine/training.py#L69-L3735)

[sigefuji]

展開形の質問でなくなってしまいますが、
sequensialモデルとみなしてadd,fitなどで構築可能でしょうか。（これは可能と思いますが）
そもそもsequentialモデルとの違いが、少々分かりかねているのが疑問の発端です。

[sigefuji]

さすがにそのソースを追う元気はないです。
クラスすべて継承なる機能用語も残念ながら理解できない状態ですが、すべてでなくとも、上に掲げた対象コードの範囲でも容易ではないですか。

[TakaiY]

「sequensialモデルとみなしてadd,fitなどで構築可能でしょうか。」というのはどういう意味ですか？
ニューラルネットワークをクラスを使わずに構築可能かという意味であれば、当然可能です。 ですが、それは、keras.Modelクラスを実装することとは程遠いでしょう。

「すべてでなくとも、上に掲げた対象コードの範囲でも容易ではないですか。」これの意味も不明です。
継承したクラスの機能の一部を実装/オーバーライドしている部分を外に出して実行しても、本体の処理が抜けているのでは特に意味は無いと思いますが。

[sigefuji]

>「sequensialモデルとみなしてadd,fitなどで構築可能でしょうか。」というのはどういう意味ですか？
sequetialモデルでは、kerasにたいするaddとかfitとかを使ってNNを作りますね。それと似たようなと言う意味の積りです。

＞ニューラルネットワークをクラスを使わずに構築可能かという意味であれば、当然可能です。 ですが、それは、keras.Modelクラスを実装することとは程遠いでしょう。
そういう意味の積りですが、keras.Modelクラスと同じでなくとも、似たようなこと（等価でない所が質問と異なってしまいますが）ができるように表現すればどのようなかたちになるだろかと言う積りです。

>「すべてでなくとも、上に掲げた対象コードの範囲でも容易ではないですか。」これの意味も不明です。
同様に、似たようなことをする表現と言う積りです。

＞継承したクラスの機能の一部を実装/オーバーライドしている部分を外に出して実行しても、本体の処理が抜けているのでは特に意味は無いと思いますが。

そういう部分があることはわかります。

その後他の方のアドバイスなどを参考に考えたところ
このクラス処理の流れを考えてみました。
ーーー
call MLPが呼ばれると
keras.modelの処理が始まる
initが呼ばれ、使うモデルの定義を行う。
モデルが実行され、途中でcallにより、必要な情報をモデルに返す。
このとき定義されたオブジェクトfc1,fc2,dropoutを参照する（使う）
call終了時fc2の結果をkeras.modelに返す。
kerasu.modelクラスの終了後メイン処理に戻り、fitなどをcallする。
ーーー
という処理の流れでよいでしょうか。

ここでまた、疑問があります。
そもそも質問のクラスはkeras.modelという名前であることがわからなかったのですが、
今においても、その名前は質問コード中のどこに現れるのでしょうか。（どこでその名前で呼ぶか）

[TakaiY]

> sequetialモデルでは、kerasにたいするaddとかfitとかを使ってNNを作りますね。それと似たようなと言う意味の積りです。
> 同様に、似たようなことをする表現と言う積りです。
それは、Modelという元にしているクラス(とそれにふくまれるたくさんの機能)があるからできるのであって、使わないのであれば、全部実装することになります。

> という処理の流れでよいでしょうか。
ざっくりいえば合っていると思います。

>そもそも質問のクラスはkeras.modelという名前であることがわからなかった
keras.model が tensorflow.keras.Model のことを指すのであれば、
class MLP(tf.keras.Model):
このMLPの宣言のところでそれを継承しているからです。この説明が正しくて、読み取れていなかったのであれば、pythonについてもうすこし理解を深めてからとりかかったほうがいいように思います。

[sigefuji]

>class MLP(tf.keras.Model):
そうですね。見逃しました。
＞ざっくりいえば合っていると思います。
わかりました。等価なことはできそうもないことはわかりました。大体流れがあっているならば、この質問は終わりにします。ありがとうございました。