MNISTが収束しない(theano)

Question

初歩的な質問で恐縮ですが、theanoでMNISTの手書き文字分類をしたのですが、うまく収束しません。
http://deeplearning.net/tutorial/logreg.html
にあるように、

損失関数を

-T.mean(T.log(self.p_y_given_x)[T.arange(y.shape[0]), y])

のように記述すれば、下記のコード(損失関数以外は省略しています)のように損失関数が単調減少するのですが、

import theano as th
from numpy import *
from sklearn.datasets import fetch_mldata

mnist = fetch_mldata('MNIST original', data_home=".")

x_arr = mnist["data"]
y_arr = mnist["target"]

size = x_arr.shape[0]

x = th.tensor.dmatrix("x").astype(th.config.floatX)
y = th.tensor.dmatrix("y").astype("int32")

W = th.shared(random.rand(784,10).astype(dtype=th.config.floatX), borrow=True)
b = th.shared(random.rand(10).astype(dtype=th.config.floatX), borrow=True)

out = th.tensor.nnet.softmax(x.dot(W) + b)
#loss = -th.tensor.mean(y * th.tensor.log(out + 1e-4))
loss = -th.tensor.mean(th.tensor.log(out + 1e-4)[th.tensor.arange(y.shape[0]), y.flatten()]).astype(th.config.floatX)

idx = th.shared(0).astype(dtype="int32")

x_arr = th.shared(x_arr.astype(dtype=th.config.floatX))
y_arr = th.shared(y_arr.astype(dtype="int32"))

f = th.function(inputs=[idx],
                outputs=loss,
                on_unused_input='ignore',
                updates=[(W, W - 0.0001 * th.grad(loss, W)),
                         (b, b - 0.0001 * th.grad(loss, b))],
                givens=[(x, x_arr[idx:idx+100]), (y, y_arr[idx:idx+100, None])])

for i in range(100):
    for j in range(0, size-100, 100):
        loss = f(j)
    print(loss)

処理結果

3.4998669624328613
2.970357656478882
2.5788233280181885
2.3907742500305176
2.0066370964050293
2.117086410522461
2.026233434677124
2.0261969566345215
1.9340922832489014
1.473728895187378
1.381466031074524
1.4735664129257202
1.381466031074524
1.4735510349273682
1.4450583457946777
1.5514671802520752

しかしながら、損失関数を

-th.tensor.mean(out * th.tensor.log(y + 1e-4))

のように書くとうまく収束しません(この場合、入力データ(10のベクトル)と付き合わせるためone-hot表現にしています)。実装は下記のようになります。

import theano as th
from numpy import *
from sklearn.datasets import fetch_mldata

mnist = fetch_mldata('MNIST original', data_home=".")

x_arr = mnist["data"]

idx = mnist["target"]
arr = zeros((idx.shape[0],10)).flatten()
arr[idx.flatten().astype(int) + arange(idx.shape[0]) * int(idx.max())]  = 1
arr = arr.reshape(idx.size, 10)
y_arr = arr

size = x_arr.shape[0]

x = th.tensor.dmatrix("x").astype(th.config.floatX)
y = th.tensor.dmatrix("y").astype("int32")

W = th.shared(random.rand(784,10).astype(dtype=th.config.floatX), borrow=True)
b = th.shared(random.rand(10).astype(dtype=th.config.floatX), borrow=True)

out = th.tensor.nnet.softmax(x.dot(W) + b)
loss = -th.tensor.mean(out * th.tensor.log(y + 1e-4))

idx = th.shared(0).astype(dtype="int32")

x_arr = th.shared(x_arr.astype(dtype=th.config.floatX))
y_arr = th.shared(y_arr.astype(dtype="int32"))


f = th.function(inputs=[idx],
                outputs=loss,
                on_unused_input='ignore',
                updates=[(W, W - 0.0001 * th.grad(loss, W)),
                         (b, b - 0.0001 * th.grad(loss, b))],
                givens=[(x, x_arr[idx:idx+100]), (y, y_arr[idx:idx+100])])

for i in range(100):
    for j in range(0, size-100, 100):
        loss = f(j)
    print(loss)

処理結果

0.9210340387405115
0.9210340400696587
0.9210340395120877
0.9210340392042159
0.9210340394320792
0.9210340403567177
0.9210340386768939
0.9210340387548388
0.9210340393186343
0.9210340400540475
0.9210340393799111
0.9210340389116061
0.9210340402111538
0.9210340400905459
0.9210340405027893
0.9210340398349144
0.9210340407418887
0.9210340394700124

tensorflowでは後者の記述で書いてある記事を見ましたが、
うまく実装出来ているようです。ご存知の方いらっしゃいましたら
ご教示ください。

Answer 1

クロスエントロピーの式ですが、以下ではないかと思います。

out = th.tensor.nnet.softmax(x.dot(W) + b)
xent =  -(1-y) * th.tensor.log(1-out + 1e-8)
loss = xent.mean()

loss は以下のように出力されます。

1.7534503784048883
1.754406510726838
1.756005242674942
1.755949974408118
1.7521872399803033
1.7475800620197386
1.7441947505411761
1.741671160069344
1.7403550574880282
1.7391483742858345
1.7374770824938437
1.7363582456237157
1.7362235338070966
1.7363039307688137
1.7361688543865799
1.7363115484172862
1.7370884312548314

tensorflowでうまく行っているというのはわかりません。

Comments

[MasashiKimura]

ああ、これは２クラスの場合かも。