画像分類(Xception)の学習精度が向上しません。。。

Question

前提・実現したいこと

Xceptionモデルの学習を一から行おうと思い、ImageNetのデータから学習を行ったのですが精度が早いうちから頭打ちになりうまくいっておりません。

分類問題の精度を上げるためにどうすればよいかご協力をお願いできますでしょうか。

optimizerやlearning rate等は文献に基づいて設定しておりますがあまり効果が見られません

– Optimizer: SGD

– Momentum: 0.9
– Initial learning rate: 0.045
– Learning rate decay: decay of rate 0.94 every 2 epochs

PC環境の問題(Google ColabのHDD容量不足)でImageNetにある1000 class中の500 classしか使用していないのですが、影響はありますでしょうか

該当のソースコード

import tensorflow as tf
import tensorflow.keras as keras
from tensorflow.keras import layers, losses, models, optimizers, callbacks, applications, preprocessing

# scheduler
def scheduler(epoch, lr):
    return 0.045*0.94**(epoch/2.0)
lr_decay = callbacks.LearningRateScheduler(scheduler)

# early stopping
EarlyStopping = callbacks.EarlyStopping(monitor='val_loss', min_delta=0, patience=500, verbose=0, mode='auto', restore_best_weights=True)

# build xception
inputs = tf.keras.Input(shape=(224, 224, 3))
x = tf.cast(inputs, tf.float32)
x = tf.keras.applications.xception.preprocess_input(x) #preprocess image
x = applications.xception.Xception(weights=None, include_top=False,)(x, training=True)
x = layers.GlobalAveragePooling2D()(x)
x = layers.Dense(nb_class)(x)
outputs = layers.Softmax()(x)
model = tf.keras.Model(inputs, outputs)

model.compile(optimizer=optimizers.SGD(momentum=0.9, nesterov=True), 
            loss = 'categorical_crossentropy', 
            metrics= ['accuracy'])

# fitting data
history = model.fit(image_gen(df_train_chunk, 224, 224, ), #feed images with a generator
                    batch_size = 32,
                    steps_per_epoch = 64,
                    epochs=1000000000,
                    validation_data = image_gen(df_valid_chunk, 224, 224, ),  #feed images with a generator
                    validation_steps = 64,
                    callbacks = [lr_decay, EarlyStopping],
                    )

発生している問題・エラーメッセージ

本来は精度が0.8程度まで行くはずなのですが、行きません

補足情報（FW/ツールのバージョンなど）

Google Colab使用
Stackoverflowで同様の質問中

Comments

[退会済みユーザー]

> Xceptionモデルの学習を一から行おうと思い、
Q.1 転移学習は使わずにゼロから学習させているように見えますが合っていますか？
Q.1があっていた場合、膨大なデータを使う前提であれば学習率が高めなのは納得です。落ち着くまで膨大なエポック数が必要なことになると思います。元の論文のぶん回した回数がグラフに乗っていますが、ゼロの桁数が"おかしい"ですよね…。これだけの計算を普通の人は時間とお金の制約でできないかと。

Q.1が間違っていて、もし転移学習をしているのであれば学習率は落とした方が良いような気がします。SGDよりもAdamの方が一般的には収束が早いです。

Q.2 Q.1が間違っていた場合、LRの減衰が早すぎるかもしれませんので、少し減衰率の減衰を遅くできますか？その代わり初期値も勾配爆発が起きない程度に抑えてください。

[Anonymous2020]

お返事ありがとうございます。上記、回答します。

Q.1 転移学習は使わずにゼロから学習させているように見えますが合っていますか？
>>あっています。とある理由で、Xceptionベースの特徴抽出器を作り、他に転用しようとしています。その前にまず第一段階としてXceptionで学習ができるか試した次第です。

Q.1があっていた場合、膨大なデータを使う前提であれば学習率が高めなのは納得です。落ち着くまで膨大なエポック数が必要なことになると思います。元の論文のぶん回した回数がグラフに乗っていますが、ゼロの桁数が"おかしい"ですよね…。これだけの計算を普通の人は時間とお金の制約でできないかと。
>>文献中のエポック数が膨大なのは気になっていたのですが、問題は精度も損失もいくらエポックを多くとっても改善しないことなんですよね。。。思い切って大規模なエポック数でどうなるか見てみます

[退会済みユーザー]

> Xceptionで学習ができるか
一から学習すると大変ですので、通常は学習済みの重みの"バランス"を生かしたまま８freezeして）層の末端部分だけを再学習させる転移学習が良く使われています。元のクラスが1000クラスで最適化した重みで、実際に使いたいものが10クラスだったとしても、転移学習は有効な手段です（大幅な時間節約ができます）。

Answer 1

論文通りに実装したのであれば、落ち着くまで16万回くらい反復計算しているようです。今は600回のようですので、あと270倍くらいは時間がかかると思います。

バッチサイズが論文には載っていませんが、恐らく大きい数を使っているはずなので、手元で動かすバッチサイズでは相当な処理時間がかかるように思います。

PC環境の問題(Google ColabのHDD容量不足)でImageNetにある1000 class中の500 classしか使用していないのですが、影響はありますでしょうか

いくらか収束が早くなると思いますが、データ量的にあまり意味がない程度の時間削減にしかならないかもしれません。

Comments

[Anonymous2020]

回答ありがとうございます。思い切って大規模なエポック数でどうなるか見てみます。

「バッチサイズが論文には載っていませんが、恐らく大きい数を使っているはずなので、…」とのことですが、バッチサイズはclass数より多めに取った方がよかったりするのでしょうか。（現状はbatch size: 32, class: 500）

少し調べたとこによると、batch sizeは収束性と計算速度には影響があるようなのですが…
https://stackoverflow.com/questions/60142351/optimal-batch-size-for-image-classification-using-deep-learning

[退会済みユーザー]

バッチサイズが大きいと計算が早くなりますが、バッチサイズが大きいとGPUに乗りきらなくてクラッシュしやすくなります。（クラッシュしない範囲で最大が目安です）基本的にクラス数とは関係なかったかと思います。2の倍数が良いそうですが、多少外れても大丈夫なじゃなかろうか、と個人的には思っています。