私は現在Word2Vecの仕組みについて勉強しています。
勉強の結果、Word2Vecとは、入力層にはone-hotベクトルを入れ「ある単語を与えた時にその周辺語を予測する」というタスクを解かせる過程で、入力層から隠れ層への重みベクトルという形で間接的に単語ベクトルを得るものであり、出力層には用がない。ということは理解しました。
しかし、結局出力層にはどんなものが入っているのかがわかりません。
出力層について調べていると、「単語の数-1個のユニットがある」「単語ベクトル同士の内積」「最終的にソフトマックス関数をかませて確率にする」などの説明を目にし、各々の意味はなんとなく分かるのですが、結局のところ、どのような値がどのような形で入っているのか、というのがイマイチ掴みきれません。
私の頭の中でのニューラルネットワークを図にすると以下のようになります。(数字は適当です)
出力層 ? ? ? ? 入力層 隠れ層 0 2 ? 1 5 ? 0 3 ? 0 ? ? ? ? ?
質問の中でも何か誤ったことを言っている部分があるかもしれませんが、その場合はそこについても指摘した上で、この?の部分にはどんなものが入っているのかご教示よろしくお願いします。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/09/13 12:51
2018/09/15 14:59