ゼロから作るDeeplearning❷-word2vecに関して

Question

前提・実現したいこと

書籍「ゼロから作るDeeplearning❷」のP149の下から５行目の
EmbeddingDotクラス内の「np.sum(target_W * h, axis=1)」
という箇所が計算式の計算方法は分かるのですが

計算結果であるoutが2値分類のsigmoid関数に渡す前の結果となる
理由がよく分からないので説明して頂きたいです。axis=1も計算方法は
分かるのですがなぜここで横方向に圧縮するのかピンときません。。
よろしくお願い致します。
m(_ _)m

▼周りの変数内容は理解しているつもりです。
W = 重み
idx = 抜き出す行
target_W = 重み一覧からidxの行を抽出したもの
h = 中間ニューロン
target_W * h = target_Wとhの内積

該当のソースコード

class Embedding:
    def __init__(self, W):
        self.params = [W]
        self.grads = [np.zeros_like(W)]
        self.idx = None
    
    def forward(self,idx):
        W, = self.params
        self.idx = idx
        out = W[idx]
        return out
    
    def backward(self, dout):
        dW, = self.grads
        dw[...] = 0
        for i, word_id in enumerate(self.idx):
            dW[word_id] += dout[i]
        return None




class EmbeddingDot:
    def __init__(self,W):
        self.embed = Embedding(W)
        self.params = self.embed.params
        self.grads  = self.embed.grads
        self.cache = None
        
    def forward(self, h, idx):
        target_W = self.embed.forward(idx)
        out = np.sum(target_W * h, axis=1)　　#←※※ここの箇所です
        
        self.cache = (h, target_W)
        return out
    
    def backward(self, dout):
        h, target_W = self.chace
        dout = dout.reshape(dout.shape[0], 1)
        
        dtarget_W = dout * h
        self.embed.backward(dtarget_W)
        dh = dout * target_W
        return dh

補足情報（FW/ツールのバージョンなど）

「ゼロから作るDeep Learning ❷ ―自然言語処理編」P149

Comments

[aokikenichi]

idx=単語ID=you, sayなどの単語 毎に重みを掛けている
横にというのは単語ごと
それをsigmoid with loss に渡して誤差を計算
（そしてズレで重みを修正）

でここは自然言語うんぬんではなく割と素直なニューラルネットの話だと思いますが、
そういうことではないですか。どこが疑問なのか今ひとつ分からず、、、

[Ken]

回答ありがとうございます！
昨日も考えていてnp.sum(target_W * h, axis=1)のaxis=1で計算結果をまとめる理由以外は納得がいくようになりました。axis=1をする理由だけが現状分からない状況です。よろしくお願い致します。

Answer 1

np.sum(target_W * h, axis=1)のaxis=1で計算結果をまとめる理由以外は納得がいくようになりました。axis=1をする理由だけが現状分からない状況です。

答えとしては「内積の計算だから」ですが、

『ゼロから作るDeeplearning❷』p.150の図4-14でご説明します

重み[0 1 2]にhの[0 1 2]が入ってくるのでそれを要素ごと掛けて[0 1 4]。内積が必要なので0+1+4=5
np.sum()はaxisの指定により全て、行ごと、列ごとが指定できますが、ここでは行ごとに列方向を足していくことが必要なのでaxis=1となります。
参考：Python「numpy.sum(...)」のaxisオプション指定まとめ

これで、伝わりますでしょうか、、、

Comments

[Ken]

ご丁寧にありがとうございます！
アドバイスを受けそもそも内積の計算方法の理解自体が出来てなかったように思えます。

下記サイトにあるベクトルaとベクトルbにそれぞれ回答頂いたように[0 ,1, 2]を当てはめると求めたい内積は0+1+4=5という理解でよろしいでしょうか？

axis自体の計算方法は理解しております！
https://atarimae.biz/archives/23642

[aokikenichi]

示して頂いたサイトに　ベクトルaとベクトルb　が複数あるのでどれを指されているのか分かりませんが「[0 ,1, 2]を当てはめると」と1つのベクトルではなくて　2つのベクトルがあるときに
[1 2 3] と [3 5 9] の内積=(1*3 + 2*5 + 3*9)=3 + 10 + 27=40
となります。それをnp.sumを使って実装するとご質問いただいた行のような書き方となります。

[Ken]

説明が悪すぎて誠に申し訳ございません...。

ベクトルの内積の公式自体が頭から抜けており、axis=1でsumする理由が分からないでいました。

そんな中丁寧に解説して頂きベクトルの内積の公式を理解していれば該当コードの意味を理解することが出来る事が分かりました。親身に教えて頂き誠にありがとうございました！