TransformerのPytorchでの実装のPositionalEncodingクラスのエラー

Question

前提・実現したいこと

こちらの解説記事のソースコードを実行しようと試みましたができない

発生している問題・エラーメッセージ

positional encodingの部分でエラーが起きているっぽい

Traceback (most recent call last):
  File "C:../..", line 245, in <module>
    tmp_model = make_model(10, 10, 2)
  File "C:../..", line 228, in make_model
    position = PositionalEncoding(d_model, dropout)
  File "C:../..", line 212, in __init__
    pe[:, 0::2] = torch.sin(position * div_term)
RuntimeError: expected device cpu and dtype Float but got device cpu and dtype Long

該当のソースコード

class PositionalEncoding(nn.Module):
    
    def __init__(self, d_model, dropout, max_len=5000):
        super(PositionalEncoding, self).__init__()
        self.dropout = nn.Dropout(p=dropout)
        
        
        pe = torch.zeros(max_len, d_model)
        position = torch.arange(0, max_len).unsqueeze(1)
        div_term = torch.exp(torch.arange(0., d_model, 2) *
                             -(math.log(10000.0) / d_model))
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        pe = pe.unsqueeze(0)
        self.register_buffer('pe', pe)
        
    def forward(self, x):
        x = x + Variable(self.pe[:, :x.size(1)], 
                         requires_grad=False)
        return self.dropout(x)

def make_model(src_vocab, tgt_vocab, N=6, 
               d_model=512, d_ff=2048, h=8, dropout=0.1):
    "Helper: Construct a model from hyperparameters."
    c = copy.deepcopy
    attn = MultiHeadedAttention(h, d_model)
    ff = PositionwiseFeedForward(d_model, d_ff, dropout)
    position = PositionalEncoding(d_model, dropout)
    model = EncoderDecoder(
        Encoder(EncoderLayer(d_model, c(attn), c(ff), dropout), N),
        Decoder(DecoderLayer(d_model, c(attn), c(attn), 
                             c(ff), dropout), N),
        nn.Sequential(Embeddings(d_model, src_vocab), c(position)),
        nn.Sequential(Embeddings(d_model, tgt_vocab), c(position)),
        Generator(d_model, tgt_vocab))
    
    # This was important from their code. 
    # Initialize parameters with Glorot / fan_avg.
    for p in model.parameters():
        if p.dim() > 1:
            nn.init.xavier_uniform(p)
    return model

# Small example model.
tmp_model = make_model(10, 10, 2)

試したこと

解説記事のプログラムをそのまま実行すると別のエラー(RuntimeError: exp_vml_cpu not implemented for 'Long')が出ていたので

Traceback (most recent call last):
  File "C:../..", line 245, in <module>
    tmp_model = make_model(10, 10, 2)
  File "C:../..", line 228, in make_model
    position = PositionalEncoding(d_model, dropout)
  File "C:../..", line 211, in __init__
    -(math.log(10000.0) / d_model))
RuntimeError: exp_vml_cpu not implemented for 'Long'

こちらを参考に0に小数点を付けました

補足情報

python 3.5.4
torch 1.1.0

Comments

[meg_]

・リンクは「リンクの挿入」で記入してください。
・エラーメッセージ全文を質問に追記してください。

Answer 1

position = torch.arange(0, max_len).unsqueeze(1)
div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model))

を

position = torch.arange(0., max_len).unsqueeze(1)
div_term = torch.exp(torch.arange(0., d_model, 2) * -(math.log(10000.0) / d_model))

に変更するとできるようです．
これは，トーチexpとsinは以前LongTensorをサポートしていましたが、もうサポートしていない可能性があるためらしいです．（それについてはよくわかりません）

詳しくはこちらのサイトに書いてあります．

RuntimeError: “exp” not implemented for 'torch.LongTensor'