Word2Vecのニューラルネットワークの出力層について

Question

私は現在Word2Vecの仕組みについて勉強しています。
勉強の結果、Word2Vecとは、入力層にはone-hotベクトルを入れ「ある単語を与えた時にその周辺語を予測する」というタスクを解かせる過程で、入力層から隠れ層への重みベクトルという形で間接的に単語ベクトルを得るものであり、出力層には用がない。ということは理解しました。
しかし、結局出力層にはどんなものが入っているのかがわかりません。
出力層について調べていると、「単語の数-1個のユニットがある」「単語ベクトル同士の内積」「最終的にソフトマックス関数をかませて確率にする」などの説明を目にし、各々の意味はなんとなく分かるのですが、結局のところ、どのような値がどのような形で入っているのか、というのがイマイチ掴みきれません。

私の頭の中でのニューラルネットワークを図にすると以下のようになります。(数字は適当です)

                                    出力層
                                      ?
　　　　　　　　　　　　　　　　　　　　　　　?
                                      ?
                                      ?
入力層                隠れ層
0                      2              ?
1                      5              ?
0                      3              ?
0                                     ?

                                      ?
                                      ?
                                      ?
                                      ?

質問の中でも何か誤ったことを言っている部分があるかもしれませんが、その場合はそこについても指摘した上で、この?の部分にはどんなものが入っているのかご教示よろしくお願いします。

Answer 1

質問に「ある単語を与えた時にその周辺語を予測する」とある通り、ニューラルネットの出力は周辺語の出現する確率です。
ただし、入力が単一の単語というより複数の単語のセットと思ったほうがいいと思います。例えば、「私」「？」「食べる」から？部分を予測する際、「私」だけより「私」と「食べる」から予測したほうが精度があがるという理屈です。word2vecで学習する時、パラメーターにwindowがあったと記憶しています。これは前後のどこまでを考慮するかというもののはずなので、多分あっていると思います。

ここからは完全な想像です。
単語の出現確率の計算方法にはRNNやLSTMなどの技術を使ったものがあります。いずれもそれほど新しいものではないはずなので、word2vecにも使われているとみます。

まぁ、どちらも出力層の話ではないので質問には関係が薄いです。一応、誤った部分があれば、ということなのでコメントしました

Comments

[hayataka2049]

文脈→単語を予想するのはCBoWですね
RNN系の技術はword2vecには反映されていないはずです。新し目の分散表現手法で取り入れているものはあるかもしれません

[Terratale]

回答ありがとうございます！
RNNもLSTMも知らなかったので勉強になりました。

Answer 2

私も内部で実際にどういう処理になっているのかについてはそこまで詳しくないのですが。

直感的には、単語の生起確率です。

質問文から「単語」とその周辺語（前後1単語）を抽出すると、

ある　単語　を
　に　単語　ベクトル
　「　単語　の
　「　単語　ベクトル

です。次のようなリストでボキャブラリを表現してみます。

['「', 'ある', 'に', 'の', 'を', 'ベクトル', '単語']

「単語」前後の単語の生起確率は次のようなベクトルで表現できます。

前の単語の生起確率=[0.5, 0.25, 0.25, 0, 0, 0, 0]
後の単語の生起確率=[0, 0, 0, 0.25, 0.25, 0.5, 0]

これはあくまでも直感的な説明なので、必要なら英語の文献にあたるかソースを読んで理解することが望ましいと思います。

Comments

[Terratale]

そうですね。頑張ってソース見てみようと思います。
回答ありがとうございました！