PyTorch モデルの学習パラメータを固定したい。

Question

PyTorch のパラメータを一旦0にして、その後全て0.1にしましたが、毎回、異なる値が出ます。どうしたら、定数で固定できますか？torch.manual_seedは使っていません。よろしくお願いいたします。

import torch
import torch.nn as nn

# torch.manual_seed(1) 使わない
class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.fc = nn.Linear(5, 3)
        self.fc.weight.data *= 0
        # Debug用に学習パラメータを全て0.1に固定したい。        
        self.fc.weight.data += 0.1

model = Model()
s = torch.ones((1, 5)) #テストデータ
print(model.fc(s)) # 毎回出力が異なる
print(model.fc.weight) # パラメータは0.1で確認

Answer 1

weightの他にbiasも初期値を指定してあげる必要があります。
classの部分だけ書き換えてみたコードを例示しますので、参考にしてください。

class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.fc = nn.Linear(5, 3)
        nn.init.constant_(self.fc.weight, 0.1)
        nn.init.constant_(self.fc.bias, 0.2)

Comments

[teefpc]

できました。どうもありがとうございました。