【機械学習】分割の仕方でスコアが大きく変わる場合は過学習している？

Question

機械学習に関する質問です。
かなりサンプルの少ないデータセット（１００未満）で機械学習のモデルを構築しています。二値分類を行っていて、それぞれのデータ数はほぼ同じ数だけ含まれています。しかし、トレーニングデータとテストデータの分割の仕方によって、スコアが大きく変化することに気付きました。
train_test_splitの乱数（random_state）の値でスコアが著しく変化する場合、過学習しているという認識であっていますか？

また、分類したい結果に関しては、偏りは少ないのですが、そもそもデータ数が非常に少なく、データとしての偏りが存在しているものと考えています。（iris
データで例えるなら、iris.targetはバランス良く手元にあるけども、sepal lengthなどはかなり狭い範囲のデータしかない、みたいな。）
このようなデータを対象に機械学習を行う以上、ある程度の過学習は致し方ないと思っているのですが、どうなのでしょう。過学習の改善がうまく行かなくて、どこで妥協するか悩んでいました。
・データ数少ない（すぐに増やすことは困難で、今後ゆっくりと増える予定）
・特徴量は比較的少ない

後者の質問？は、独り言レベルのコメント程度で構わないので、ご回答いただけたらなと思います。

Answer 1

ご質問のような状況は**「過学習」ではなく「データ不足」**です。

データが不足しているため、訓練データとテストデータの選び方に、結果が大きく依存します。選んだ訓練データとテストデータとで、お互いの傾向が似ているかどうかで、結果が変わるわけです。

どこまでが「データ不足」でどこからが「過学習」であるかは、一概には言い切れません。ただし、あえて「データ不足」であるとお伝えしたのは、ご質問の状況で正則化やドロップアウトなどの、過学習の対策を入れても効果が無いと思われるためです。一方、「データ不足」であれば、データを増やすのが根本対策ですが、交差検証や以下参考記載の手法も対策として有効です。

参考: 水増しと転移学習

機械学習では、コードを書く前に、データそのものをグラフ等で見える化し、データ全体の傾向をつかむことが大切です。まずはそれに取り組んでみましょう。データ量と比較してデータのバラ付きが多そうだ、まだデータが足りない、などが直感的にわかるようになります。