DeepLearning Network in Network CNN 保存したモデルを使って予測をすると毎回違った値が返ってくる

Question

現在、ディープラーニングを用いた画像分類をやっています。
GPUを用いて学習を行いcpuにモデルを戻してからserializerのnpzを使ってモデルを保存しました。
ちなみにモデルにはNINを用いています。

早速保存したモデルを読み込んで分類とその分類したクラスのパーセンテージを表示させるようにしました。
ですが、同じ画像なのに毎回違った値が返ってきます。
例えばクラスの分類があっていて、そのクラスのパーセンテージが違う場合はまあいいのですが、クラス分類まで変わってしまうことがあります。モデルは変わっていないはずなのにこういうことがあり得るのでしょうか？

関係がありそうな部分だけコードを載せておきます。

Network in Network

#モデルの作成
model = NIN(5)
optimizer = optimizers.Adam()
optimizer.setup(model)
cuda.get_device(gpu_device).use()
model.to_gpu(gpu_device)


#モデルの保存
model.to_cpu()
serializers.save_npz('ファイル名.npz', model)


#確率変換
def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a-c)
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y


#予測
model = NIN(n_class)
serializers.load_npz('モデルのファイルパス', model)
x = Variable(img_lst[0:1])
y = model(x)
test = y.data[0]
test = test.tolist()
y = softmax(y.data[0])

Comments

[WathMorks]

「ですが、同じ画像なのに毎回違った値が返ってきます。」具体的な数値を教えてください。

[_Victorique__]

クラス分類が変わる程値がブレると記述していますが、具体的な値を出して意味があるでしょうか？

Answer 1

Network in Network(http://hiro2o2.hatenablog.jp/entry/2016/12/06/214839)

このリンク先のコードそのまま使ってるんですかね？
そうだとして、、、ですけど、self.trainがTrueのままだったりしませんか？
それなら、推論時にもdropoutが入るのでおかしくなりそうな気がします。

Comments

[_Victorique__]

あーそこは完全に盲点でした。どうやらv2.0.0以降からtrainが廃止されていたらしく、エラーが出ていたのでそこだけ削除してしまっていたようです。解決策として以下のようなwith構文を書くことで切り替えができるようになるみたいです！ありがとうございました。
with chainer.using_config('train', False):
h = self.mlpconv4(F.dropout(h))

Answer 2

当然ですがNINのコードがないと答えられないでしょう。
URLの先にあるそのNINのコードには__call__の途中にdropoutが入っています。
これがそのままなら、毎回ランダムに入力の一部を削除するので結果が変わりますね。どうなんでしょう?

Comments

[_Victorique__]

回答ありがとうございます。dropout関数に関してもう少し調べてみます。

[_Victorique__]

ですがクラス分類が変わる程の値のブレは正直理解しがたいです。

[quickquip]

モデルの重みとコードがないことには、そこへの確証は持てません。あり得るのでしょうか？ と聞かれたらあり得るでしょう、としか。

[_Victorique__]

どうやらdropout関数が原因でした。結果的には同じ値が返ってくるのが普通という認識であっていました。ありがとうございました！

[quickquip]

なんだ。普通そんな挙動をするコードを書くことがあるのか? という質問だったのか……。

[quickquip]

Chainerの古いコードの挙動まで調べなかったのは私の失敗で、ちょっと勘違いしたままの回答になってしまいました。

Answer 3

具体的にどういう処理をしているのかはよく知りませんが、乱択アルゴリズムを内部で使用しているような計算をしている以上、毎回異なる学習結果になるのは当たり前ではないでしょうか？モデルの妥当性などはもちろん学習結果が毎回異なることとは別問題ですが。
追記：「モデルの保存」が「学習したパラメータの保存」ということならば予測させた結果は毎回変わることはないと思います。

Comments

[_Victorique__]

学習したパラメータの保存が serializer.save という認識であっているのかというところが疑問ですね。現在は optimizer.save をしていないのでそれを含めてのモデルの保存というのなら少し考えないといけないですね。それにしてもクラス分類が変わってしまうほどの値のブレは正直理解不能です。

[_Victorique__]

解決しました！ありがとうございました！