現在,chainerを用いてニューラルネットのモデルを組んでいます.
初めに,正則化を加えていないと以下のようなエラーが出ました.
python
1/.pyenv/versions/anaconda3-4.3.0/lib/python3.6/site-packages/chainer/functions/activation/relu.py:73: RuntimeWarning: invalid value encountered in greater 2 y = (self.b > 0) * inputs[0] 3
そこで,この勾配爆発を解消するため,optimizerに対して,
python
1 optimizer = optimizers.Adam() 2 optimizer.setup(model) 3 optimizer.add_hook(chainer.optimizer.WeightDecay(0.0001)) 4 optimizer.add_hook(chainer.optimizer.GradientClipping(5.0))
のような正則化と勾配クリッピングを加えたのですが,またしても,上記と同じようなエラーが出てしまいました.
勾配クリッピングを行なっているにも関わらず,勾配爆発が起こるのはなぜなのでしょうか?
また、このエラーを回避するにはどのようにしたらよろしいのでしょうか?
学習率(Adamでいうalpha)を下げたりしたのですが、解消されませんでした.
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/02/25 15:46