pytorchの内積計算の結果が異なる

Question

pytorchで2つの方向で内積を計算した結果が異なります。

一つの方法では、
5次元入力データ x と重みMとの内積計算をtorch.einsumで行おうとしています。

もう一つの方法では、
5次元入力データ x を3つ用意してと重みMとの内積計算をtorch.einsumで行おうとしています。内積の順番は同じなので結果が違うことが不思議なのですが、分かる方いらっしゃいますか？

import numpy as np
import torch

def p(x,M1):
    v = x.shape[0]
    I0 = torch.tensor([1, 0], dtype=torch.float32) 
    I1 = torch.tensor([0, 1], dtype=torch.float32) 
    I = I0 if x[0] == 0 else I1
    _M1 = torch.tensor(M1[0][:], dtype=torch.float32)
    Z = torch.einsum("ia,i->a",_M1,I)
    for i in range(1,v-1):
        M = torch.tensor(M1[i][:], dtype=torch.float32)
        I = I0 if x[i] == 0 else I1
        Z = torch.einsum("a,aib,i->b",Z,M,I)
    M = torch.tensor(M1[v-1][:], dtype=torch.float32)
    I = I0 if x[v-1] == 0 else I1
    psi = torch.einsum("a,ai,i->...",Z,M,I)
    return psi

def p_batch(x,M1):
    v = x.shape[1]
    I0 = torch.tensor([[1, 0]], dtype=torch.float32)
    I1 = torch.tensor([[0, 1]], dtype=torch.float32)
    I = torch.where((x[:, 0] == 0)[:, None], I0, I1)
    _M1 = torch.tensor(M1[0][:], dtype=torch.float32)
    p = torch.einsum("ia,xi->xa",_M1,I)
    for i in range(1,v-1):
        M = torch.tensor(M1[i][:], dtype=torch.float32)
        I = torch.where((x[:, i-1] == 0)[:, None], I0, I1)
        p = torch.einsum("xa,aib,xi->xb",p,M,I)
    M = torch.tensor(M1[v-1][:], dtype=torch.float32)
    I = torch.where((x[:, v-1] == 0)[:, None], I0, I1)
    p = torch.einsum("xa,ai,xi->x",p,M,I)
    return p

torch.manual_seed(100)
M1 = torch.randn(2,4)
M2 = torch.randn(4,2,8)
M3 = torch.randn(8,2,8)
M4 = torch.randn(8,2,4)
M5 = torch.randn(4,2)

M = []
M.append(M1)
M.append(M2)
M.append(M3)
M.append(M4)
M.append(M5)

ひとつめの方法

x = torch.tensor([1,0,1,1,0])
p(x,M)
#tensor(-9.3181)

複数の入力データをバッチ処理している

_x = torch.tensor([[1,0,1,1,0],[1,1,1,0,0],[0,1,1,0,0]])
p_batch(_x,M)
#tensor([ 9.5319,  5.5194, 30.2192])

Comments

[ikedas]

2つの結果それぞれは、各々常に同じなのでしょうか。それとも、それぞれの結果も毎回変わるのでしょうか。

[redcatML]

コメントありがとうございます。各々常に同じになることを想定しています。一つ目の入力を一つずつp(x,M)に入れた結果が複数入力したp_batchになるようにしたいです。

[ikedas]

「想定」ではなく、「実際の」結果それぞれは各々常に同じでしょうか。それぞれの結果も毎回変わるのであれば質問の前提が成り立ちませんので。

[redcatML]

失礼しました。結果は毎回同じになります。

[ikedas]

テンソルをもっと小さなものにしても同じことになるでしょうか。
もしもそうなら、実際のMの値が何になっているか確認して、手計算で内積の値を計算してみたらどうですか。
符号まで異なるというのは、どちらかのやりかたが間違っているのだとしか思えませんし。

[bsdfan]

やろうとしている計算にたいして、かなり複雑なコードになっているように見えます。もっと簡単に書いたほうがいいのではないでしょうか。
たとえば I0, I1 でやっているのは行(列)の選択なので単純にMx[i]等で置きなおせると思います。

Answer 1

29行目の I = torch.where((x[:, i-1]... の -1 が不要です。

        I = torch.where((x[:, i] == 0)[:, None], I0, I1)

Comments

[redcatML]

ありがとうございます。一致することを確認できました。