質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.47%
Chainer

Chainerは、国産の深層学習フレームワークです。あらゆるニューラルネットワークをPythonで柔軟に書くことができ、学習させることが可能。GPUをサポートしており、複数のGPUを用いた学習も直感的に記述できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

Q&A

解決済

1回答

484閲覧

RNN(LSTM)のmodel定義について確認したいことがあります

good_morning

総合スコア61

Chainer

Chainerは、国産の深層学習フレームワークです。あらゆるニューラルネットワークをPythonで柔軟に書くことができ、学習させることが可能。GPUをサポートしており、複数のGPUを用いた学習も直感的に記述できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

2グッド

1クリップ

投稿2019/03/27 08:05

編集2019/03/28 08:44

私は現在、chainerのLSTMを使って自然言語処理のプログラムを作成しようとしています。
LinearやCNNを主にやってきたので、RNN(LSTM)のmodel定義について詳しくありませんので、質問したいことがあります。

現在、LSTMのmodelを次のように定義しています。

python

1class LSTM(Chain): 2 def __init__(self, in_size, hidden_size, out_size): 3 クラスの初期化 4 :param in_size: 入力層のサイズ 5 :param hidden_size: 隠れ層のサイズ 6 :param out_size: 出力層のサイズ 7 super(LSTM, self).__init__( 8 xh=L.Linear(in_size, hidden_size), 9 hh=L.LSTM(hidden_size, hidden_size), 10 hy=L.Linear(hidden_size, out_size) 11 )

ここで、LSTMのモデルは以下の図のように時系列的に次の時間のNNに伝播していくものであると認識しています。
イメージ説明

【質問1】
ところが、上記のmodelでは、1つの時間の分のNNしかありません。
これは、計測時間の数だけ自動的に生成されて次の時間のNNに伝播するものと認識していますが、その認識に間違いないでしょうか。

【質問2】
上記のmodelの場合、in_size(入力層のサイズ)とは入力ベクトルの次元数、hidden_size(隠れ層のサイズ)はLSTMのベクトルの次元数、out_size(出力層のサイズ)出力ベクトルの次元数と認識していますが、その認識に間違いないでしょうか。

【質問3】
LSTMの最後の層を全結合層と言っているようですが、それは上記のmodelのhyのことだと認識しています。その認識に間違いないでしょうか。

LSTMには詳しくないので、よろしくお願いします。

magichan, tachikoma👍を押しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

自己解決としては、次のとおりになります。

【質問1】
RNN(LSTM)は、ある単語の次にどの単語が来るかは単語の絶対的な位置に依存しないので、重みは同じ。
勾配情報は全時刻分を足し合わせるので、図の左側となる。

【質問2】
認識通り。

【質問3】
認識通り。

投稿2019/03/28 09:37

good_morning

総合スコア61

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.47%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問