質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

Q&A

解決済

1回答

242閲覧

σ・x・hは何の値なのか?

taiyo2017

総合スコア170

自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

0グッド

0クリップ

投稿2018/09/15 07:04

LSTMの説明を読んでいると、
イメージ説明
このような図がよく出てきます。
この図の場合、
まず、σは関数なのでしょうか?値なのでしょうか?またσの役割は何なのでしょうか?
また、x・hは文字を受け取っているのでしょうか?それとも文字を数値に変換したベクトルを受け取っているのでしょうか?
教えてください、よろしくお願いいたします!

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

σ の意味について

σ はシグモイド関数です。

※ Deep Learning の文脈でその記号がでてきたら、上記を表すことが多いというだけで、あくまで「σ はシグモイド関数を表す」など但し書きがあるはずです。なければ、その説明は不親切です。

σ の役割

下記画像はゲートを表しています。

イメージ説明

このゲートを通る値を取捨選択するという仕組みは以下のように実現されます。

まずゲートは「現時刻の入力」と「1つ前の時刻」の出力を受け取ります。
+マークでそれらは足し合わせ、要素ごとにシグモイド関数を適用するので、g の各値は 0.0 ~ 1.0 になります。(シグモイド関数は値域が 0 ~ 1)

そして、✕マークの部分でこれとゲートを通ろうとする値の要素ごとの積が計算されます。
ゲートの値 g が 0 に近ければ、その値はほとんど通さず、1 に近ければほぼ全部通すことになります。

x、h について

x は LSTM の入力
h は LSTM の出力

どちらも数値データです。文章はネットワークに流す段階で数値化されています。

✕ の意味について

要素ごとの積です。
x = [1, 3, 5], y = [2, 4, 7] とするとき、
x ✕ y = [12, 34, 5*7] = [2, 12, 35] になります。

投稿2018/09/15 10:48

編集2018/09/15 12:02
tiitoi

総合スコア21956

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

taiyo2017

2018/09/15 11:49

ありがとうございます!とても分かりやすいです!!1つ質問なのですが、σ の役割のところに貼ってくださった画像のgateでは一体何をしているのでしょうか?
tiitoi

2018/09/15 12:03

+マークは「現時刻の LSTM の入力」と「1つ前の時刻の LSTM の出力」を要素ごとに足し合わせているだけです。 図 gate はわかりづらくて申し訳ないですが、+部分の名称ではなく、上記画像全体がゲートを構成しています。 説明を回答に追記しました。
tiitoi

2018/09/15 12:10

gate は一言でいうと値を通すか通さないかを決めています。 例えば、人は経験した出来事を全部記憶しているわけではなく、重要な事は覚えているし、しょうもないことは忘れます。 シンプルな RNN では、ある時刻の出力は全部次の時刻に伝わりますよね。LSTM では 値を全部そのまま次の時刻に伝えるのではなく、ゲートで伝える情報と捨てる情報を制御しています。
taiyo2017

2018/09/15 12:42

ありがとうございます。ゲートはまず現時刻の LSTM の入力と1つ前の時刻の LSTM の出力を通すかどうか決め、通す場合足し合わせる、という認識であっていますか??
tiitoi

2018/09/15 12:49

1. 「現時刻の入力」と「1つ前の時刻の出力」を要素ごとに足し合わせる。 2. シグモイド関数を通す。 3. その値と✕に入ってくる値を要素ごとに乗算し、ゲートの出力とする。 この計算で値を通すかどうか決めているです。 上の1~3はゲートが「値を通すかどうか決める」具体的な実現方法です。
taiyo2017

2018/09/15 13:14

なるほど!ありがとうございます!!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問