質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

Q&A

解決済

1回答

1435閲覧

ゼロから作るDeeplearning❷-word2vecに関して

bigbabysan

総合スコア3

深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

0グッド

0クリップ

投稿2020/07/22 09:59

前提・実現したいこと

書籍「ゼロから作るDeeplearning❷」のP149の下から5行目の
EmbeddingDotクラス内の「np.sum(target_W * h, axis=1)」
という箇所が計算式の計算方法は分かるのですが

計算結果であるoutが2値分類のsigmoid関数に渡す前の結果となる
理由がよく分からないので説明して頂きたいです。axis=1も計算方法は
分かるのですがなぜここで横方向に圧縮するのかピンときません。。
よろしくお願い致します。
m(_ _)m

▼周りの変数内容は理解しているつもりです。
W = 重み
idx = 抜き出す行
target_W = 重み一覧からidxの行を抽出したもの
h = 中間ニューロン
target_W * h = target_Wとhの内積

該当のソースコード

Python3

1class Embedding: 2 def __init__(self, W): 3 self.params = [W] 4 self.grads = [np.zeros_like(W)] 5 self.idx = None 6 7 def forward(self,idx): 8 W, = self.params 9 self.idx = idx 10 out = W[idx] 11 return out 12 13 def backward(self, dout): 14 dW, = self.grads 15 dw[...] = 0 16 for i, word_id in enumerate(self.idx): 17 dW[word_id] += dout[i] 18 return None 19 20 21 22 23class EmbeddingDot: 24 def __init__(self,W): 25 self.embed = Embedding(W) 26 self.params = self.embed.params 27 self.grads = self.embed.grads 28 self.cache = None 29 30 def forward(self, h, idx): 31 target_W = self.embed.forward(idx) 32 out = np.sum(target_W * h, axis=1)  #←※※ここの箇所です 33 34 self.cache = (h, target_W) 35 return out 36 37 def backward(self, dout): 38 h, target_W = self.chace 39 dout = dout.reshape(dout.shape[0], 1) 40 41 dtarget_W = dout * h 42 self.embed.backward(dtarget_W) 43 dh = dout * target_W 44 return dh

補足情報(FW/ツールのバージョンなど)

「ゼロから作るDeep Learning ❷ ―自然言語処理編」P149

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

aokikenichi

2020/07/23 03:37

idx=単語ID=you, sayなどの単語 毎に重みを掛けている 横にというのは単語ごと それをsigmoid with loss に渡して誤差を計算 (そしてズレで重みを修正) でここは自然言語うんぬんではなく割と素直なニューラルネットの話だと思いますが、 そういうことではないですか。どこが疑問なのか今ひとつ分からず、、、
bigbabysan

2020/07/23 23:51

回答ありがとうございます! 昨日も考えていてnp.sum(target_W * h, axis=1)のaxis=1で計算結果をまとめる理由以外は納得がいくようになりました。axis=1をする理由だけが現状分からない状況です。よろしくお願い致します。
guest

回答1

0

ベストアンサー

np.sum(target_W * h, axis=1)のaxis=1で計算結果をまとめる理由以外は納得がいくようになりました。axis=1をする理由だけが現状分からない状況です。

答えとしては「内積の計算だから」ですが、

『ゼロから作るDeeplearning❷』p.150の図4-14でご説明します

重み[0 1 2]にhの[0 1 2]が入ってくるのでそれを要素ごと掛けて[0 1 4]。内積が必要なので0+1+4=5
np.sum()はaxisの指定により全て、行ごと、列ごとが指定できますが、ここでは行ごとに列方向を足していくことが必要なのでaxis=1となります。
参考:Python「numpy.sum(...)」のaxisオプション指定まとめ

これで、伝わりますでしょうか、、、

投稿2020/07/24 01:11

aokikenichi

総合スコア2210

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

bigbabysan

2020/07/24 01:55

ご丁寧にありがとうございます! アドバイスを受けそもそも内積の計算方法の理解自体が出来てなかったように思えます。 下記サイトにあるベクトルaとベクトルbにそれぞれ回答頂いたように[0 ,1, 2]を当てはめると求めたい内積は0+1+4=5という理解でよろしいでしょうか? axis自体の計算方法は理解しております! https://atarimae.biz/archives/23642
aokikenichi

2020/07/24 02:25

示して頂いたサイトに ベクトルaとベクトルb が複数あるのでどれを指されているのか分かりませんが「[0 ,1, 2]を当てはめると」と1つのベクトルではなくて 2つのベクトルがあるときに [1 2 3] と [3 5 9] の内積=(1*3 + 2*5 + 3*9)=3 + 10 + 27=40 となります。それをnp.sumを使って実装するとご質問いただいた行のような書き方となります。
bigbabysan

2020/07/24 03:52

説明が悪すぎて誠に申し訳ございません...。 ベクトルの内積の公式自体が頭から抜けており、axis=1でsumする理由が分からないでいました。 そんな中丁寧に解説して頂きベクトルの内積の公式を理解していれば該当コードの意味を理解することが出来る事が分かりました。親身に教えて頂き誠にありがとうございました!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問