python 予測モデル：データを加えるとscoreは上がるが、実際の値とは外れていきます

Question

前提・実現したいこと

python 初心者です。ざっくりとした質問で恐縮なのですが、現在、予測モデルをつくっています。
いろんな要素（データ）を加えていけばいくほど、accuracy_score値が上がっていくのですが、実際にpred_test = clf.predict(test_x)で予測値を出すとデータを加えていってもさほど変わらない、もしくは外れ度合が大きくなります。特に「過学習」ということでもない気がするのですが、考えられる理由はございますでしょうか。もし、少しでも考えられる可能性があるものがあればご教示いただけますと幸いです。何卒よろしくお願いいたします。
※データ数は、各コラム（各要素）、3000～20000くらいございます。

該当のソースコード

from sklearn.metrics import accuracy_score
score = accuracy_score(test_y, pred)
print(score)

ここにより詳細な情報を記載してください。

Answer 1

トレーニングデータのaccuracy_scoreが改善する一方でテストデータのaccuracy_scoreが伸びない（あるいは悪化する）というのは程度による部分はありますが、過学習を疑うべきでしょう。
仮にトレーニングデータの精度が満足いかないのであれば、単純に特徴量を追加するのではなく、もう少し精度が出ない原因を調査した上で対応を考えたほうがいいかと思います。例えば、モデルの精度についてaccuracy_scoreを気にされているようですが、内訳を混合行列などを使って確認することは重要かと思います。また、予測を誤ったデータとうまく予測できたデータの特徴的な相違点（特にノイズっぽいもの）の有無を調べることも重要と思います。
『ガベージ・イン・ガベージアウト』という言葉がある通り、データそのものをモデルに合わせてクリーンにしなければ、有用な結果が出ないと思ったいいでしょう。

Comments

[MasaKoba]

具体的なご回答ありがとうございます。やはり過学習なのですね。。もう少し勉強し調べてみます。ありがとうございます。

Answer 2

典型的な過学習だと思いますが、とりあえずしっかり交差検定を行ってください。

Comments

[MasaKoba]

早速ご回答いただき誠にありがとうございます。やはり過学習なのですね。。もう少し勉強し調べてみます。ありがとうございます。