Pytorchでの.gradが常に0になる理由

Question

#前提
Pytorchを用いたマルウェア検知のためのDeep Learningのモデルを作成しています．
その際にバイト列をそのままでは扱えないため，nn.Embeddingを用いて8次元にembeddingしています．
そしてそのembeddingしたバイト列をモデルに突っ込んで判定しているのですが，その際に.gradにアクセスすると存在はしているのですが，値が全て0になってしまいます．
これはどういうことなのでしょうか？

#####前処理

BINARY = b'MZ\x90\x00\x03\x00\x00\x00\x04\x00'
tensor_bytes = torch.from_numpy(np.frombuffer(BINARY,dtype=np.uint8)[np.newaxis,:]).float()
>>tensor([[ 77.,  90., 144.,  ...,  51.,   5.,  13.]])

embd_func = nn.Embedding(257, 8, padding_idx=0)
embd_bytes = embd_func(tensor_bytes) #torch.Size([1, 1054208, 8])
>>tensor([[[ 0.7340,  1.1138,  0.8525,  ..., -1.7343, -0.1635,  0.5149], 
         [-0.1660,  1.3984, -0.5087,  ..., -0.8441, -0.0746, -0.3979],
         ...
         [ 0.7354,  0.7951, -2.0175,  ..., -1.3213, -0.3241,  0.2827],
         [-1.5834,  0.4888,  0.3841,  ...,  1.2205,  1.2348,  2.0523]]])

#####gradientの取得を行うコード

embd_bytez.requires_grad = True
#modelに通して結果を出力
out = model(embd_bytez)
>>tensor([[-0.7082,  1.3883]], grad_fn=<AddmmBackward>)

result = F.softmax(out, dim=1)
>>tensor([[0.1094, 0.8906]], grad_fn=<SoftmaxBackward>)

label = torch.from_numpy(np.array([0]))
loss = criterion(result, label)
>>tensor(1.1581, grad_fn=<NllLossBackward>)

loss.backward()
opt.step()

grad = embd_bytez.grad
>>tensor([[[0., 0., 0.,  ..., 0., 0., 0.],
           [0., 0., 0.,  ..., 0., 0., 0.],
           ...
           [0., 0., 0.,  ..., 0., 0., 0.],
           [0., 0., 0.,  ..., 0., 0., 0.]]]) #常に値が0

Comments

[8524ba23]

.gradの値がすべてゼロとはどのような手段で確認されたでしょうか？
たとえば「print( (grad.numpy() == 0).all())」の結果はTrueでしょうか？

[退会済みユーザー]

確認してみたらFalseでした…．
grad.sign()の値が全く変化しないので全部0なのかな？　と思っていたのですが，単純に値が小さいだけでただの早とちりでした．
gradの要素があまりにも小さすぎるせいでgrad.signが0になっていただけのようです．
ありがとうございました！