学習前と学習後のモデルの重みが変化しません

Question

実現したいこと

pytorchの学習をしております。
学習前と学習後のモデルの重みの変化を確認してたいです。

発生している問題・エラーメッセージ

モデルをMNISTを用いて一定回数学習した後の１つ目の全結合層の重みを学習前と学習後で確認しているのですが、変化が見られません。
Lossは落ちているので学習はしているのですが、重みが変化しないのはなぜでしょうか？

該当のソースコード

import torch
from torch import nn
from torchvision import datasets, models, transforms

import torch.nn.functional as F

num_epochs = 2       # 学習を繰り返す回数
num_batch = 100         # 一度に処理する画像の枚数
learning_rate = 0.1  # 学習率
image_size = 28*28      # 画像の画素数(幅x高さ)

# GPU(CUDA)が使えるかどうか？
device = 'cuda' if torch.cuda.is_available() else 'cpu'


class Net(nn.Module):
    def __init__(self, input_size, output_size):
        super(Net, self).__init__()

        # 各クラスのインスタンス（入出力サイズなどの設定）
        self.fc1 = nn.Linear(input_size, 100)
        self.fc2 = nn.Linear(100, output_size)

    def forward(self, x):
        # 順伝播の設定（インスタンスしたクラスの特殊メソッド(__call__)を実行）
        x = self.fc1(x)
        x = torch.sigmoid(x)
        x = self.fc2(x)
        return F.log_softmax(x, dim=1)


# データセット
trainset = datasets.MNIST(root='./data', train=True, transform=transforms.ToTensor(), download=True)
trainloader = torch.utils.data.DataLoader(trainset, batch_size = 100)

# モデル
model = Net(image_size, 10).to(device)

# 学習前
print("before")
print(model.state_dict()['fc1.weight'])

# 適当に学習
optimizer = torch.optim.Adam(model.parameters(), lr = learning_rate) 
criterion = nn.CrossEntropyLoss()

for epoch in range(num_epochs): # 学習を繰り返し行う
    loss_sum = 0
    model.train()

    for inputs, labels in trainloader:

        # GPUが使えるならGPUにデータを送る
        inputs = inputs.to(device)
        labels = labels.to(device)

        # optimizerを初期化
        optimizer.zero_grad()

        # ニューラルネットワークの処理を行う
        inputs = inputs.view(-1, image_size) # 画像データ部分を一次元へ並び変える

        outputs = model(inputs)

        # 損失(出力とラベルとの誤差)の計算
        loss = criterion(outputs, labels)
        loss_sum += loss

        # 勾配の計算
        loss.backward()

        # 重みの更新
        optimizer.step()
    print(f"Epoch: {epoch+1}/{num_epochs}, Loss: {loss_sum.item() / len(trainloader)}")

model.eval()
# 学習後
print("after")
print(model.state_dict()['fc1.weight'])```

Comments

[jbpb0]

> 変化が見られません。

一部しか見てないから、そう見えるだけです
コードを下記のように変更して、もっとたくさんの学習前後の差を確認してみてください

print("before")
print(model.state_dict()['fc1.weight'])
↓ 変更
import numpy as np
model_state1 = np.array(model.state_dict()['fc1.weight'].cpu())

print("after")
print(model.state_dict()['fc1.weight'])
↓ 変更
import numpy as np
model_state2 = np.array(model.state_dict()['fc1.weight'].cpu())
np.set_printoptions(threshold=np.inf)
print("after - before")
print((model_state2 - model_state1)[0, :200])

[michael_0829]

仰っている通り見る範囲が狭かっただけでした。
ありがとうございます。
こちらをベストアンサーとさせていただきます。

Answer 1

jbpb0さんが質問に対してしていただいたコメントで解決しました。
ありがとうございました。