chainerで学習結果の保存・読み込みを行いたいが、object has no attribute エラーが出てしまう

Question

Python3、Chainerでニューラルネットワークの勉強をしています。
適当なサンプルコードを書いて、学習結果の保存・読み込みを行おうと思っています。
学習自体は目的ではなく、あくまで保存・読み込みの勉強が目的です。

# モデルの読み込み(存在する場合)
modelFileName = "kakezan-model.npz"
if os.path.exists(modelFileName):
	model = MyChain()
	serializers.load_npz(modelFileName, model)
else:
	model = MyChain()

# optimizerの読み込み(存在する場合)
optimizerFileName = "kakezan-optimizer.npz"
if os.path.exists(optimizerFileName):
	optimizer = optimizers.SMORMS3()
	serializers.load_npz(optimizerFileName, optimizer)
else:
	optimizer = optimizers.SMORMS3()
	optimizer.setup(model)

上のようなコードで、optimizerを読み取ろうとしたのですが、以下のエラーが出て読み込めません。

Traceback (most recent call last):
  File "prac.py", line 56, in <module>
    serializers.load_npz(optimizerFileName, optimizer)
  File "/usr/local/lib/python3.5/dist-packages/chainer/serializers/npz.py", line 134, in load_npz
    d.load(obj)
  File "/usr/local/lib/python3.5/dist-packages/chainer/serializer.py", line 82, in load
    obj.serialize(self)
  File "/usr/local/lib/python3.5/dist-packages/chainer/optimizer.py", line 445, in serialize
    self.t = serializer('t', self.t)
AttributeError: 'SMORMS3' object has no attribute 't'

どのようにしたら読み込めますでしょうか？

教えてください。

以下、コードの全文です。

from chainer import Chain
from chainer import cuda, Function, gradient_check, Variable, optimizers, serializers, utils
import chainer.links as L
import chainer.functions as F
import numpy as np
import os



class MyChain(Chain):
	def __init__(self):
		super(MyChain, self).__init__(
			l1 = L.Linear(2, 10),
			l2 = L.Linear(10, 10),
			l3 = L.Linear(10, 1))

	def __call__(self, x, y):
		xv = Variable(x)
		yv = Variable(y)
		pr = self.predict(xv)
		return F.mean_squared_error(pr, yv)

	def predict(self, x):
		h1 = self.l1(x)
		h2 = self.l2(h1)
		h3 = self.l3(h2)
		return h3

def createData(max, N):
	# 適当にデータを作って掛け算を学習してみる。
	xs1 = np.linspace(-max, max, N).astype(np.float32)
	xs2 = np.random.normal(0, max, N).astype(np.float32)
	return np.c_[xs1, xs2], np.c_[xs1*xs2]


rangeMax = 13.5

N = 1200
batchSize = 10
xtrain, ytrain = createData(rangeMax, N)
xtest,  ytest  = createData(rangeMax, 1000)


# モデルの読み込み(存在する場合)
modelFileName = "kakezan-model.npz"
if os.path.exists(modelFileName):
	model = MyChain()
	serializers.load_npz(modelFileName, model)
else:
	model = MyChain()

# optimizerの読み込み(存在する場合)
optimizerFileName = "kakezan-optimizer.npz"
if os.path.exists(optimizerFileName):
	optimizer = optimizers.SMORMS3()
	serializers.load_npz(optimizerFileName, optimizer)
else:
	optimizer = optimizers.SMORMS3()
	optimizer.setup(model)

for epoch in range(120):
	perm = np.random.permutation(N)

	for i in range(0, N, batchSize):
		# ランダムにbatchSize個のデータを取得
		x_batch = xtrain[perm[i:i + batchSize]]
		y_batch = ytrain[perm[i:i + batchSize]]

		model.zerograds()
		loss = model(x_batch, y_batch)
		loss.backward()
		optimizer.update()

	if 0 < epoch and epoch % 30 == 0:
		loss = model(xtest, ytest)
		print(loss.data)
		serializers.save_npz(modelFileName, model)
		serializers.save_npz(optimizerFileName, optimizer)

Answer 1

https://github.com/chainer/chainer/blob/master/chainer/optimizer.py#L342

Optimizerにattribute 't'が作成されるのはsetupメソッドの中なのですよね。

なので、デシリアライズの前にsetupしておかないといけないのではと思いました。

---

また、

http://docs.chainer.org/en/stable/reference/core/generated/chainer.Optimizer.html#chainer.Optimizer.serialize

It does not saves nor loads the parameters of the target link. They should be separately saved or loaded.

とも書いてあります。今のソースだと、Optimizerはモデルに結びついてないですよね。

---

なので、

# optimizerの読み込み(存在する場合)
optimizerFileName = "kakezan-optimizer.npz"
optimizer = optimizers.SMORMS3()
optimizer.setup(model)
if os.path.exists(optimizerFileName):
    serializers.load_npz(optimizerFileName, optimizer)

ではないでしょうか。試していませんが。

Comments

[LaLaLand]

ありがとうございます。これでOKでした