マルチラベル分類における重み付けについて教えて下さい

Question

マルチラベル分類での重み付けについてお聞きしたいです。

現在tensorflowにて4種類の画像識別モデルを構築しようと思っています。
画像1枚を入力として受け取り、各クラスの物体がが写っている/いないという
判断(つまり4クラスのアウトプット)をさせています。

しかしデータ数に偏りがあり、ざっくりとした比は1:1:14:14という感じになっているため
データに重みをつけて学習をさせたいのですが、model.fit()のclass_weight引数で重みをつけてみても
イマイチ結果が変わっていないいような気がします。

調べている時、loss関数を（binary_crossentropyではなく）自前で用意するという方法も
あったのですが...今回のケースではそちらのほうが適しているのでしょうか?

以下コードです。
(学習の部分だけ載せていますが、他にも必要なものがあればお知らせください)

# 今回のMETRICSで採用
def macro_f1(y, y_hat, thresh=0.5):
    y_pred = tf.cast(tf.greater(y_hat, thresh), tf.float32)
    tp = tf.cast(tf.math.count_nonzero(y_pred * y, axis=0), tf.float32)
    fp = tf.cast(tf.math.count_nonzero(y_pred * (1 - y), axis=0), tf.float32)
    fn = tf.cast(tf.math.count_nonzero((1 - y_pred) * y, axis=0), tf.float32)
    f1 = 2*tp / (2*tp + fn + fp + 1e-16)
    macro_f1 = tf.reduce_mean(f1)
    return macro_f1

def main():

    （必要な変数は定義済）

    # 学習
    IMG_SHAPE = (img_size, img_size, channels)
    base_model = tf.keras.applications.MobileNetV2(input_shape=IMG_SHAPE,
                                                include_top=False,
                                                weights='imagenet')
    global_average_layer = tf.keras.layers.GlobalAveragePooling2D()
    prediction_layer = tf.keras.layers.Dense(n_classes, activation='sigmoid')
    model = tf.keras.Sequential([base_model,global_average_layer,prediction_layer])
    model.compile(optimizer=optimizers.SGD(lr=lr, momentum=momentum, nesterov=nesterov),loss='binary_crossentropy', metrics=[macro_f1])

    ckpt_cb = tf.keras.callbacks.ModelCheckpoint(checkpoint_path,
                                                 save_weights_only=True,
                                                 monitor='val_macro_f1',
                                                 mode='max',
                                                 verbose=1)

    csv_logger = tf.keras.callbacks.CSVLogger(ckpt_dir+'/training.csv', separator=',')

    #データ数の比は a:b:c:d = 14:1:14:1
    class_weight = {0:0.07, 1:1, 2:0.0.07, 3:1}

    history = model.fit(train_ds,
                        steps_per_epoch= int(num_train//batch_size),
                        validation_data=val_ds,
                        validation_steps= int(num_val//batch_size),
                        shuffle=True,
                        epochs=epochs,
                        class_weight = class_weight,
                        callbacks=[ckpt_cb, csv_logger],)

    model.save_weights(ckpt_dir + '/my_checkpoint')

Answer 1

    #データ数の比は a:b:c:d = 1:14:1:14
    class_weight = {0:0.07, 1:1, 2:0.0.07, 3:1}

逆にするべきでは？　データ数が少ないクラスにより大きな重みを設定する必要があるはず。

Comments

[orionza]

申し訳ありません、記載ミスでした。
検証した段階ではデータ数の少ないクラスに大きな重みを設定しておりました。

Answer 2

少ない方の画像を水増しして学習すれば良いのではないでしょうか。

Comments

[orionza]

もちろん、画像の水増しやアンダーサンプリングでも学習自体は可能なのですが、今回は重みをつけて学習する方法について検討しております。お知恵をお貸しいただけますと大変助かります。

[ppaul]

ご自分でディープラーニングを手作りされるなら、学習用データに学習率のデータを入れるように設計してシステムを組めばできないことはないと思います。しかし、ユーザニーズを考えると、tensorflowとかPyTorchにそういう機能は実装されていないでしょうし、将来も実装される可能性は低いと思います。