Kerasでのディープラーニングでのdata水増しについて

Question

機械学習初心者です。

Titanic生存dataのような目的変数が0 or 1の自分のdataset（csvファイル）に対して、Kerasでディープラーニング（sequential model）を実装して予測を行いました。
サンプル数300くらいのdatasetなのですが、これを単純に4倍にコピーして解析を行うとaccuracyがはねあがりました。

画像のdatasetだとぼかしたり細工を加えてdataを水増しする手法があるようですが、このようなcsvファイルのdataでもこのような手法が許されるのでしょうか？

このような一般論で申し訳ありません。ご教示いただけますと幸いです。

Answer 1

単純にデータをコピーして水増しした場合、データセットに同じデータが複数含まれることになります。
（今回の例だと四つ同じデータがあることになる）

これを訓練データとテストデータの分割の際にランダムに分けると、訓練データとテストデータに同じデータが含まれることになり、正解率が跳ね上がったように見えますが、訓練時に見たデータを暗記しているだけで、新しいデータへの汎化性能は正確に測れていないことになります。

テーブルデータでも、SMOTEなどのデータ水増し手法が存在しますが、水増ししたデータは訓練のみに用い、評価用データは本来モデルにより予測を行いたいデータ（水増しデータは含めない）にする必要があります。

Comments

[gaia2rd]

さっそくの回答ありがとうございましt。SMOTE勉強してみます。