Keras→Pytorch Dense()をpytorchで書く場合

Question

pythonで以下のコードをpytorchに置き換えたいのですが、pytorchで書くとどうなるのでしょうか？

model = tf.keras.Sequential([
        tf.keras.layers.Dense(300, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation=tf.nn.relu, input_dim=df_columns_len),
        tf.keras.layers.Dropout(0.2),
        tf.keras.layers.Dense(100, kernel_regularizer=tf.keras.regularizers.l2(0.001), activation=tf.nn.relu),
        tf.keras.layers.Dropout(0.2),
        tf.keras.layers.Dense(1, activation=tf.nn.sigmoid) 
    ])

Answer 1

PyTorchでは、概ね以下のように、class定義をして記述します。

class MLP(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.classifier = torch.nn.Sequential(
            torch.nn.Linear(df_columns_len, 300),
            torch.nn.ReLU(),
            torch.nn.Dropout(0.2),
            torch.nn.Linear(300, 100),
            torch.nn.ReLU(),
            torch.nn.Dropout(0.2),
            torch.nn.Linear(100, 1),
            torch.nn.Sigmoid(),
        )
    def forward(self, x):
        x = self.classifier(x)
        return x

model = MLP()

MLPというクラス名は任意でよいですが、単純な線形結合の場合、MLP（Multilayer perceptron）という名称が使われることが多いようです。KerasとPyTorchの比較記述は、以下の私の記事でも紹介していますので、参考にしてください。

PyTorch初挑戦の記録、tf.kerasとの比較実装

なお、概ね、というのは、正則化を省いているからです。PyTorchではレイヤーの中で正則化をする記述はあまり一般的ではなさそうです。以下は正則化を損失関数で実施している例です。

PyTorchで線形回帰+L1/L2正則化

ただし、過学習の対策として、こういった教科書的な正則化は、最近では使われません。その代わり、バッチ正規化（Batch Normalization）というものが使われます。バッチ正規化はPyTorchでもレイヤー内に記述可能です。

参考: PyTorchで学ぶ『平均』と『分散』と『BatchNormalization』