質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.93%

ゼロから作るDeeplearning❷-word2vecに関して

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 245

bigbabysan

score 3

前提・実現したいこと

書籍「ゼロから作るDeeplearning❷」のP149の下から5行目の
EmbeddingDotクラス内の「np.sum(target_W * h, axis=1)」
という箇所が計算式の計算方法は分かるのですが

計算結果であるoutが2値分類のsigmoid関数に渡す前の結果となる
理由がよく分からないので説明して頂きたいです。axis=1も計算方法は
分かるのですがなぜここで横方向に圧縮するのかピンときません。。
よろしくお願い致します。
m(_ _)m

▼周りの変数内容は理解しているつもりです。
W = 重み
idx = 抜き出す行
target_W = 重み一覧からidxの行を抽出したもの
h = 中間ニューロン
target_W * h = target_Wとhの内積

該当のソースコード

class Embedding:
    def __init__(self, W):
        self.params = [W]
        self.grads = [np.zeros_like(W)]
        self.idx = None

    def forward(self,idx):
        W, = self.params
        self.idx = idx
        out = W[idx]
        return out

    def backward(self, dout):
        dW, = self.grads
        dw[...] = 0
        for i, word_id in enumerate(self.idx):
            dW[word_id] += dout[i]
        return None




class EmbeddingDot:
    def __init__(self,W):
        self.embed = Embedding(W)
        self.params = self.embed.params
        self.grads  = self.embed.grads
        self.cache = None

    def forward(self, h, idx):
        target_W = self.embed.forward(idx)
        out = np.sum(target_W * h, axis=1)  #←※※ここの箇所です

        self.cache = (h, target_W)
        return out

    def backward(self, dout):
        h, target_W = self.chace
        dout = dout.reshape(dout.shape[0], 1)

        dtarget_W = dout * h
        self.embed.backward(dtarget_W)
        dh = dout * target_W
        return dh

補足情報(FW/ツールのバージョンなど)

「ゼロから作るDeep Learning ❷ ―自然言語処理編」P149

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • aokikenichi

    2020/07/23 12:37

    idx=単語ID=you, sayなどの単語 毎に重みを掛けている
    横にというのは単語ごと
    それをsigmoid with loss に渡して誤差を計算
    (そしてズレで重みを修正)

    でここは自然言語うんぬんではなく割と素直なニューラルネットの話だと思いますが、
    そういうことではないですか。どこが疑問なのか今ひとつ分からず、、、

    キャンセル

  • bigbabysan

    2020/07/24 08:51

    回答ありがとうございます!
    昨日も考えていてnp.sum(target_W * h, axis=1)のaxis=1で計算結果をまとめる理由以外は納得がいくようになりました。axis=1をする理由だけが現状分からない状況です。よろしくお願い致します。

    キャンセル

回答 1

checkベストアンサー

0

np.sum(target_W * h, axis=1)のaxis=1で計算結果をまとめる理由以外は納得がいくようになりました。axis=1をする理由だけが現状分からない状況です。

答えとしては「内積の計算だから」ですが、

『ゼロから作るDeeplearning❷』p.150の図4-14でご説明します

重み[0 1 2]にhの[0 1 2]が入ってくるのでそれを要素ごと掛けて[0 1 4]。内積が必要なので0+1+4=5
np.sum()はaxisの指定により全て、行ごと、列ごとが指定できますが、ここでは行ごとに列方向を足していくことが必要なのでaxis=1となります。
参考:Python「numpy.sum(...)」のaxisオプション指定まとめ

これで、伝わりますでしょうか、、、

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/07/24 10:55

    ご丁寧にありがとうございます!
    アドバイスを受けそもそも内積の計算方法の理解自体が出来てなかったように思えます。

    下記サイトにあるベクトルaとベクトルbにそれぞれ回答頂いたように[0 ,1, 2]を当てはめると求めたい内積は0+1+4=5という理解でよろしいでしょうか?

    axis自体の計算方法は理解しております!
    https://atarimae.biz/archives/23642

    キャンセル

  • 2020/07/24 11:25

    示して頂いたサイトに ベクトルaとベクトルb が複数あるのでどれを指されているのか分かりませんが「[0 ,1, 2]を当てはめると」と1つのベクトルではなくて 2つのベクトルがあるときに
    [1 2 3] と [3 5 9] の内積=(1*3 + 2*5 + 3*9)=3 + 10 + 27=40
    となります。それをnp.sumを使って実装するとご質問いただいた行のような書き方となります。

    キャンセル

  • 2020/07/24 12:52

    説明が悪すぎて誠に申し訳ございません...。

    ベクトルの内積の公式自体が頭から抜けており、axis=1でsumする理由が分からないでいました。

    そんな中丁寧に解説して頂きベクトルの内積の公式を理解していれば該当コードの意味を理解することが出来る事が分かりました。親身に教えて頂き誠にありがとうございました!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.93%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る