質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.92%

損失関数と正解率からの考察

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 663

namako_46

score 13

ミニバッチ学習法で2クラスの画像分類を行いました。実行結果からグラフ(このグラフが妥当なものかはわからないですが…)を作ってみました。
正解率データはあまり差はありませんでしたが、増幅した場合(下)損失関数が非常に高くなりました。これは過学習が起きたということでしょうか。

イメージ説明

from keras.models import Sequential
from keras.layers import Convolution2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras.utils import np_utils
import keras
import numpy as np

classes = ["kouroenkawa","kuroguchi"]
num_classes = len(classes)
image_width = 50
image_height = 50

#メインの関数を定義する
def main():
    X_train, X_test, y_train, y_test = np.load("./orido.npy", allow_pickle=True)
    X_train = X_train.astype("float") / 256
    X_test = X_test.astype("float") / 256
    y_train = np_utils.to_categorical(y_train,num_classes)
    y_test = np_utils.to_categorical(y_test, num_classes)

    model = model_train(X_train, y_train)
    model_eval(model, X_test, y_test)

def model_train(X, y):
    model = Sequential()
    model.add(Convolution2D(32,(3,3),padding='same', input_shape=X.shape[1:]))
    model.add(Activation('relu'))
    model.add(Convolution2D(32,(3,3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2,2)))
    model.add(Dropout(0.25))

    model.add(Convolution2D(64,(3,3),padding='same'))
    model.add(Activation('relu'))
    model.add(Convolution2D(64,(3,3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2,2)))
    model.add(Dropout(0.25))

    model.add(Flatten())
    model.add(Dense(512))
    model.add(Activation('relu'))
    model.add(Dropout(0.5))
    model.add(Dense(2))
    model.add(Activation('softmax'))

    opt = keras.optimizers.rmsprop(lr=0.0001, decay=1e-6)

    model.compile(loss='categorical_crossentropy', optimizer=opt, metrics=['accuracy'])

    model.fit(X, y, batch_size=32, nb_epoch=100)

    #モデルの保存
    model.save('./orido_cnn.h5')

    return model

def model_eval(model, X, y):
    scores = model.evaluate(X, y, verbose=1)
    print('test Loss: ', scores[0])
    print('test Accuracy: ', scores[1])

if __name__ == "__main__":
    main()
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • hayataka2049

    2019/12/22 23:30 編集

    それぞれどうやって計算しているのか(訓練データなのかテストデータなのか)、増幅のやり方などは追記しておくと回答しやすいかと思います。あとloss functionの種類とかも。

    キャンセル

  • namako_46

    2019/12/23 00:17

    申し訳ありません。初心者の自分が口で説明するより画像でお見せした方が早いと思い、添付しようとしたのですが、なかなかうまくいかなかったので、コードを貼り付けました。

    結果はtest lossと表示していたので、テストデータです。増幅は、-20°から20°を5°ずつの回転と反転をやりました。

    キャンセル

  • hayataka2049

    2019/12/23 00:20

    コードならコードブロック内に入れておいてください。(<code>ボタンで挿入可能)

    キャンセル

回答 1

checkベストアンサー

0

まず、正解率が下がらない割に損失関数が上がったということは、微妙な判定になるものが増えたということを表しています。予測確率(出力層の出力)が[0.99, 0.01]ではなくて[0.6, 0.4]とかになっているということです。

2クラス分類でサンプル数が均等とすれば、チャンスレベル(ランダムに予測して0.5の確率で当たる場合)のロスは1.39くらいになるでしょうか(交差エントロピーの式から逆算可能です)。今回のデータだと、増幅ありのときの数字は1.1を切るくらいなので、予測確率は[0.6, 0.4]くらいに近いかと思います(exp(-0.55)くらいのはずなので)。それでargmaxした正解率では0.9当てているということですね。

以上は雑に逆算しているだけなので憶測に近いですが、それぞれで幾つかのデータに対してpredictしたときの予測値を見てみると裏付けが取れます。


解釈なんですが、

まずテストデータに増幅したデータが入っているのかどうかを考える必要があります。入っている場合は、予測が困難なものが増えたということなので、それの分だけロスが上がる可能性があります。

次に、テストデータに増幅したデータが入っている場合にも入っていない場合にも言えることですが、増幅した結果あまり役立たないような(本来予測したいデータとはあまりにも性質が違う)データが増えて、そういうデータにも適合した結果として本来予測したいデータに対しては過小適合になっているという可能性もあります。

定性的にはそういうことが起こり得るのですが、実際はそれだけで解釈するのは難しいです。とりあえず方向性としては過小適合だと思うので、その方向で対処すると良いと思います(よく見るlossとval_lossのグラフを描いてみてください)。


冷めた見方をすれば、一番関心があるのはテストデータ正解率のはずで、増幅の有無に関わらずだいたい0.9なので増幅は不要というか役に立っていない、という感じになると思います。あるいはエポック数を増やしたり、オプティマイザをいじったり、バッチサイズをいじったり、モデルを改良したりすることで効いてくるけど、今の条件では役に立っていない、とか。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/12/23 03:25

    なるほど!納得しました。
    丁寧なご説明大変恐縮です。

    学習モデルの可視化したグラフ作ってみたいと思ったのですが、正直自分のにどう当てはめてコードを書けば良いか分かりませんでした…。
    挿入させていただいたコードに手を加えて、ターミナルで実行すると自動的にグラフを作ってくれるという認識でよろしいでしょうか。

    キャンセル

  • キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.92%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る