質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Keras

Kerasは、TheanoやTensorFlow/CNTK対応のラッパーライブラリです。DeepLearningの数学的部分を短いコードでネットワークとして表現することが可能。DeepLearningの最新手法を迅速に試すことができます。

プログラミング言語

プログラミング言語はパソコン上で実行することができるソースコードを記述する為に扱う言語の総称です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

8122閲覧

Kerasで誤差逆伝播法を使う

ice_Deep

総合スコア25

Keras

Kerasは、TheanoやTensorFlow/CNTK対応のラッパーライブラリです。DeepLearningの数学的部分を短いコードでネットワークとして表現することが可能。DeepLearningの最新手法を迅速に試すことができます。

プログラミング言語

プログラミング言語はパソコン上で実行することができるソースコードを記述する為に扱う言語の総称です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

1クリップ

投稿2019/03/11 13:42

#質問
pythonのKerasを用いて、隠れ層2層のニューラルネットワークを作りました。
このとき、現在のモデルでは学習関数にミニバッチ勾配降下法を使用しているのですが、
誤差逆伝播法を使用したいです。

どこを変更したら良いでしょうか?

ニューラルネットワークによる回帰を行なっています

#モデル
n_in = 3
n_hidden = 64

model = Sequential()
model.add(Dense(n_hidden, input_dim=n_in))
model.add(Activation("tanh"))

model.add(Dense(n_hidden))
model.add(Activation('tanh'))

model.add(Dense(units=1))
model.summary()

optimizer = Adam(lr=0.001, beta_1=0.9, beta_2=0.999)
model.compile(loss='mean_squared_error', optimizer=optimizer)

epochs = 100
batch_size = 32
history = model.fit(X_train, Y_train, epochs = epochs, batch_size = batch_size)
score = model.evaluate(X_test, Y_test, verbose = 0)

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

optimizer = Adam(lr=0.001, beta_1=0.9, beta_2=0.999)
model.compile(loss='mean_squared_error', optimizer=optimizer)

損失関数:loss → 平均二乗誤差
最適化関数:optimizer → ミニバッチ勾配降下法(Adam)

ニューラルネットワークは、損失関数の値を小さくするように、
最適化関数で重みを更新します。

<イメージ> 矢印の方向に伝播します
入力層 → 隠れ層 → 出力層  ネットワークの出力 :順伝播

ネットワークの出力に基づき、損失関数で誤差を計算する(損失関数)

入力層の誤差を計算 ← 隠れ層の誤差を計算 ← 出力層の誤差を計算 :逆伝播

ネットワーク内の各重みを更新する(最適化関数)

<まとめ>
誤差逆伝播法は、ニューラルネットワークを学習させるためのアルゴリズムを
指しているため、このモデルでも使用しています。
損失関数と最適化関数は、いろいろな種類があるので、model.compileで指定します。

投稿2019/03/11 15:13

omohi_kane

総合スコア26

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

ice_Deep

2019/03/12 03:37

つまりミニバッチ勾配降下法は、誤差逆伝播法の一つという認識でよろしいのでしょうか?
omohi_kane

2019/03/12 15:22

Qiitaに詳しい記事がありましたので、ご覧ください。 ・[誤差逆伝播法をはじめからていねいに](https://qiita.com/43x2/items/50b55623c890564f1893) 少し長い記事なので、要点を抜粋すると、 ・誤差逆伝播法は、「連鎖律」という定理と「最急降下法」というアルゴリズムの 2 つによって支えられています。 ・損失関数を誤差と見立てて、逆伝播によって重みとバイアスを修正していくアルゴリズムが「誤差逆伝播法」なのです。 ミニバッチ勾配降下法は、誤差逆伝播法のアルゴリズムである勾配降下法の一つという認識かなと思います。 〇勾配降下法(最急降下法)の種類 ・バッチ勾配降下法 ・確率的勾配降下法 ・ミニバッチ勾配降下法
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問