機械学習SVRのデータセットの作成時に、解析の対象から外れたデータを含む場合に解析の正確度が向上する理由

Question

機械学習法の一つであるサポートベクター回帰で、解析するデータは50～150とラベル付けされることが予想されるデータを解析するときの教師データの与え方についての質問です。

私は、50～150とラベル付けされているものを教師データとして利用するのが良いと考えていたのですが、教師データの与え方を複数検討してみたところ、外れた値を含むラベル（0～200）のデータを教師データの与えた方が解析の正確度が向上する傾向が見られました。

結果としてこうなることは分かったのですが、考えられる理由が何かありましたら是非聞かせていただきたいです。

よろしくお願い致します。

追記：データセットは標準化を行っています。

Comments

[hayataka2049]

pythonタグより、機械学習タグの方が適当かと

Answer 1

まず、両方の評価を同じテストデータで行わないといけません。変えたりはしないでください。もしそうしていたら、以下の議論は成立しません。

---

理論的に予想される区間は50～150だが、実データとしては0～200くらいのものとして散らばっている（学習・テスト双方で）ということでしょうか？

50～150のデータで学習させると50未満、150より大きい値になるときの正確な予測は基本的には行なえません（外挿を前提としたモデルならまったくできないという訳ではないが、いろいろと厳しい）。なので、外れ値であっても外れ値として予測できるようなモデルを作った方が有用です。

もう一つ考えられるのは、テストデータが50～150に収まっているとしても、60未満、140以上とかのサンプル数が少ない、あるいはノイズが多くて、このあたりの予測が正確でないというケースです。この場合はより上の方まで含めてあげることで、結果的に汎化が効いて改善する可能性もあります。

---

単に評価指標だけ見てもよくわからない、というときは、2通り（あるいはn通り）の方法で得られた結果をそれぞれ可視化して検証します。

テストデータのyの真値で適当に区間を区切り、それぞれで評価指標を出す。あるいは、真値と予測値で散布図を描くといった形で結果を可視化してみてはどうでしょうか（理想的な予測では右上上がり一直線になります）。

単に指標を見るのではなく、改善したらどういう点で改善があったのかを調べるというプロセスが重要だと思います。

Comments

[kazuhira]

両方の評価は同じテストデータで行っています。
おっしゃる通り、理論的に予想される区間は50～150だが、実データとしては0～200くらいのものとして散らばっている（学習・テスト双方で）ということです。

私の説明不足な質問から推測していただき明確な回答ありがとうございます。

Answer 2

それは、外れ値を含めたからだと思います。
どのようにスクリーニングしているかは分かりませんが、外れた値を含んだラベルは対象のデータよりも値がかなりずれているはずなので、解析の正確度がただのaccuracyの場合、そのデータは容易に判別できるはずです。

Comments

[hayataka2049]

それはテストデータにいれたのかどうか次第ですね。あとaccuracyは回帰なので使えないかと

[bamboo-nova]

SVMじゃなくて、SVRですね...笑

多分、重要なのは何を追跡できているのかなので、対象外のデータなのであれば入れない方が良い気がしますが...(設定次第ですね汗)
補足ありがとうございます。

[kazuhira]

皆様、ご回答ありがとうございます。

非常にノイズの大きいデータを取り扱っていて、ほかの解析法を用いた場合でも、テストデータの解析結果が50～150の間に収まらないです。

未熟なものですみません。いろいろ参考になります。