画像識別の結果を安定させる方法

Question

初期値に依存するせいか、学習→テストの結果が1〜2%程、変わってしまいます。
何か良い方法はないでしょうか?

BatchNormalizationを試しましたが、あまり変わりませんでした。

 [1-6]
# モデルの定義。
def define_model():
    inputs = Input(shape=(32, 32, 3))
    x = Conv2D(64, (3, 3), padding='SAME', activation='relu')(inputs)
    x = Conv2D(64, (3, 3), padding='SAME', activation='relu')(x)
    x = Dropout(0.25)(x)
    x = MaxPooling2D()(x)

    x = Conv2D(128, (3,3), padding='SAME', activation='relu')(x)
    x = Conv2D(128, (3,3), padding='SAME', activation='relu')(x)
    x = Dropout(0.25)(x)
    x = MaxPooling2D()(x)

    x = Conv2D(256, (3,3), padding='SAME', activation='relu')(x)
    x = Conv2D(256, (3,3), padding='SAME', activation='relu')(x)
    x = GlobalAveragePooling2D()(x)

    x = Dense(1024, activation='relu')(x)
    x = Dropout(0.25)(x)
    y = Dense(10, activation='softmax')(x)

    model = Model(inputs, y)

    # モデルのコンパイル。
    model.compile(optimizer=tf.keras.optimizers.Adam(),
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])
    model.summary()
    return model

model = define_model()

Answer 1

こんにちは、ちなみにデータセットの規模はどれくらいでしょうか？もし、手持ちの、例えば自分で実験をして得たデータで、公開データセットのような大規模なものではない場合は、数％程度であれば、毎回異なってくるのはある程度は仕方ない気もします。
条件が詳しくわかりませんが、訓練とデータの分け方や初期値が毎回異なっていたりすると思います。

Comments

[kane_study]

ありがとうございます。
CIFAR-10です。
学習データ5万
テストデータ１万です。

[kane_study]

上記のモデルだと３０エポック
(optimizer=SGD(momentum=0.9)
に変えた場合は１００エポック回してます。

[kane_study]

補足ですが
学習→テスト
とは学習をリセットし、
再度、学習させてみて、差が出るか確認しました。

テストデータは毎回同じです。

[Kenta_py]

なるほど、cifar-10なのですね。確かに、インプットサイズが３２ですね！
cifar-10でこのCNNのネットワークの感じだと精度は７5％くらいでしょうか？
私の勝手な経験ですがその条件で１％くらいずれるのは仕方ないかなあと思っていました。何か結果が毎回ほぼ同じでいけない理由や目的などがあるのでしょうか？

[kane_study]

活性化関数を変えて識別制度を測ってみたいという目的と
そのモデルから作られたadversarial example を作成し
adversarial trainingをやってみたいです。

[kane_study]

識別精度は
83%です。

[kane_study]

adversarial exampleとは元の画像に
少しノイズ（ネトワークから逆算）を加え、意図的に人工知能の判断を誤らせるというものです。
何かの記事で読んだのですが
パンダの画像が手長ザルに誤認識されたらしいです。

[kane_study]

adversarial training　とは
adversarial exampleをトレーニングデータに混ぜる事で
adversarial exampleをある程度正確に識別できる様にする事です。

[Kenta_py]

なるほど、ありがとうございます。adversarial trainingをやるために、そもそも同じ設定でもその中でどれくらいばらつくのかを知りたくてやってみると１・２％ほど分類精度が毎回異なった、ということですね。
少し話が違いますが、手元にある書籍ではcifar-10で活性化関数を変えながら実験してる例がありましたが、この条件では活性化関数ごとに誤認識率が大きく異なっていたので、ひとまず活性化関数を変えてみるとそれ以上に変化がみられるかもしれないですね。
adversarial trainingについても詳しくやりたいことを記述いただきありがとうございます。

[kane_study]

ありがとうございます。
既にやりました。あまり大きな差はない事と
差を分かりやすくする為に学習を安定させたいです。

[kane_study]

申し訳ございません。
どんなモデル、どんな条件で
どんな活性化関数で比較していましたでしょうか？

[Kenta_py]

なるほど、あまり差がなかったのですね。以前私も似たことをやったことがあるのですが、あまり大きくは変わりませんでした。そのときはcutoutやrandom erasingの有無で精度が変わるかをやった記憶があります。
参考にした書籍は以下のものです。
https://bookclub.kodansha.co.jp/product?item=0000310465
活性化関数は有名なReLuなどで比べていました。詳細な構造は書いていなかったように思います。
そのほかはメジャーなパラメータのほかにZCA白色化の有無などでも検証していました。
残念ながら私もどうしたら今回の取り組みで良い結果に導けるか、ということはわからないので、WEBでcifar10, adversarial training などで調べてその実験のコードがあるかもしれないので探してみてはいかがでしょうか。本題に戻ると、個人的には1、2%程度のばらつきは同じ条件内でもあってある程度は仕方ないんじゃないかと思い、回答させていただいた次第でした。

安定化させるとしたら、これが本質的に正しい方法かどうかはおいておいて、乱数シードを固定するとか、CNNの重みの初期値を発生させるときの分散を小さくするとか、０からはじめるとかがあるかと思いました。分類精度は下がるかもしれませんが、層を浅くしたりCNNのパラメータ数も少なくすればよいかもしれません。ミニバッチをシャッフルしないとかもあると思います。
よろしくお願いいたします。

[kane_study]

ありがとうございます。
数パーの差はよくある事なのですね。

[kane_study]

ありがとうございます。
外部パッケージを使っているので、
tensorflowしか使えません。

初期値設定は厳しそうです。

[kane_study]

層を浅くする
CNNのパラメータ数を少なくするというのは逆効果な気がしたのですが
どうなんでしょうか
自分は逆に上げようとしました。

[Kenta_py]

なるほど、ご報告ありがとうございます。
パラメータ数が少ないとランダムな要素が減るので安定するのでは？と思ったのですが、逆効果ですかね、、、
ひとまずこのスレッドでは変化させる候補を絞ったということで閉じてしまって、また色々と試されたリストを列挙し、さらに最終的にはadversarial exampleに応用したい旨など詳しく述べた新たな質問を設ければ他の良い回答が得られやすいかもしれません。