chainerでCNN Autoencoderをつくると、lossがnanになってしまう。

Question

ChainerでCNN Autoencoderを作ろうとしています。このページを参考にコードを書いたのですが、lossを出力するとnanと表示されます。どこが問題なのでしょうか。

import sys,os,cv2
import numpy as np
import matplotlib.pyplot as plt
import chainer
import chainer.links as L 
import chainer.functions as F 
from chainer import cuda, Variable, optimizers, Chain, datasets

#Define CNN Autoencoder
class CNNAutoencoder(Chain):
	def __init__(self):
		super().__init__()
		with self.init_scope():
			self.conv = L.Convolution2D(None,2,5)
			self.dcnv = L.Deconvolution2D(None,3,5)

	def __call__(self,x):
		h = F.relu(self.conv(x))
		h = F.relu(self.dcnv(h))
		
		return h

def main():
	train, _ = chainer.datasets.get_cifar10()

	model = CNNAutoencoder()
	optimizer = optimizers.SGD(lr=0.001).setup(model)

	for i in range(0,10):
		x = Variable(np.array([train[i][0]],dtype=np.float32))
		t = model(x)
		loss = F.mean_squared_error(t,x)
		loss.backward()
		optimizer.update()
		model.cleargrads()
		
		print(loss.data)


if __name__ == "__main__":
	main()

出力結果は次のようになりました。

0.2024328
/home//.virtualenvs/newst/lib/python3.5/site-packages/chainer/functions/activation/relu.py:40: RuntimeWarning: invalid value encountered in maximum
return utils.force_array(numpy.maximum(x, 0, dtype=x.dtype)),
/home//.virtualenvs/newst/lib/python3.5/site-packages/chainer/functions/activation/relu.py:99: RuntimeWarning: invalid value encountered in greater
y = (self.b > 0) * inputs[0]
nan
nan
nan
nan
nan
nan
nan
nan
nan

追記
このURLでは学習率を下げるとうまく行くとありますが、学習率を下げても結果は変わりませんでした。

Answer 1

model.cleargrads() を呼ぶタイミングが間違っているのが原因です。
loss.backward() で損失関数の勾配を計算するまえに、model.cleargrads() で勾配を初期化する必要があります。

        model.cleargrads()
        loss.backward()
        optimizer.update()

Comments

[physics303]

ありがとうございます。試してみます。

[physics303]

実行できました！！