前提・実現したいこと
PyTorchで書かれたモデルをTensorFlowに書き換えています。
その中で、PyTorchでパラメータを定義する「torch.nn.Parameter()」のTensorFlowでの実装の仕方がよくわからず困っています。
例として、下のPyTorchのモデルをTensorFlowのモデルに書き換えてみました。
(TensorFlowのプログラムではカスタムレイヤーを定義し、モデルはFubctional APIにより構築しています。)
二つのモデルは同じ構成・構造となっていますでしょうか。
質問の不備等ございましたらご指摘いただけますと幸いです。
ご回答よろしくお願い致します。
PyTorch
python
1import torch 2import torch.nn as nn 3import torch.nn.functional as F 4import numpy as np 5 6class Mymodel(nn.Module): 7 def __init__(self, input_dim, output_dim): 8 super().__init__() 9 self.w = nn.Parameter(torch.Tensor(np.random.normal(size=(input_dim,output_dim)))) 10 self.b = nn.Parameter(torch.Tensor(np.zeros(output_dim))) 11 12 def forward(self, x): 13 x = torch.matmul(x, self.w) + self.b 14 return F.softmax(x) 15 16model = Mymodel(input_dim = 32, output_dim = 32)
TensorFlow
pyton
1import tensorflow as tf 2 3class Mylayer(tf.keras.layers.Layer): 4 def __init__(self, output_dim, **kwargs): 5 super().__init__(**kwargs) 6 self.output_dim = output_dim 7 8 def build(self, input_dim): 9 self.w = self.add_weight(shape=(input_dim[-1], self.output_dim), initializer = "random_normal", trainable = True) 10 self.b = self.add_weight(shape=(self.output_dim,), initializer = "zeros", trainable=True) 11 12 def call(self, x): 13 x = tf.matmul(x, self.w) + self.b 14 return tf.nn.softmax(x) 15 16inputs = tf.keras.Input(shape=(32,)) 17outputs = Mylayer(output_dim = 32)(inputs) 18model = tf.keras.Model(inputs=inputs, outputs=outputs)
参考
色々調べてみたところ、TensorFlowではカスタムレイヤーにおいて重みを定義してあげればよいようでしたので、それを参考にTensorFlowに変換しました。
(こちらを参考にしました。)
あなたの回答
tips
プレビュー