[機械学習]学習データとテストデータの特徴量は一致させないといけないでしょうか。

Question

知りたいこと

現在、機械学習のチュートリアルとして家賃を予測する回帰問題に取り組んでいるのですが、
欠損値の処理(drop)をしたところで訓練データの特徴数が62個、テストデータの特徴数が47個となりました。学習データにある特徴がテストデータでは抜け落ちているような状態です。

そこで質問なのですが、特徴の数が一致していない状態で学習に取り掛かっても良いのでしょうか。
また、各特徴でデータ数が異なる状態でも学習・予測をして良いのかということも知りたいです。

該当のソースコード

#欠損値処理前のデータサイズ
訓練データ
print(train.shape)
(1460, 81)

テストデータ
print(test.shape)
(1459, 80)


#欠損値処理後のデータサイズ
訓練データ
print(train.shape)
(1460, 62)

テストデータ
print(test.shape)
(1459, 47)

何卒、ご回答の程よろしくお願いいたします。

Answer 1

特徴量の数（次元数、shape[1]の数字）は揃えてください。そうしないと処理できません。

Answer 2

欠損値の扱い方はいろいろあります。

学習時に手に入るが、推論時に手に入らない情報は特徴量としては使えません。

サンプルによっては入手不可であったり、データを安定して入手できないものに関しては、代替値で置き換えることがあります。
単純なケースでは例えば、他のサンプルの平均値で置き換えるなどです。

まさかご自身で機械学習の諸手法を発明しようとしていないでしょうから、教科書やインターネットで調べてはいかがですか？

欠損値、処理で検索すると以下のようなわかりやすいリンクに辿り着けます。
http://jotkn.ciao.jp/wp/2017/08/22/post-76/

Comments

[leilei]

１．『他のサンプルの対応dimの平均値で置き換える』のは一番ナンセンスだと思います。
(これで間違った分類結果を起こす可能性が上がります。)

２．EMのほうは少し益し。

３．NNでやる以上, 欠けているdimをNNでregressionをして補うほうがベスト。
　　➡　仕事量は大変ですね。

まったく実践経験のない者の勘に過ぎず、間違ったら、是非ご指摘いただきたいと思います。

[mkgrei]

2、3はデータの重複使用になるのでバイアスが生じる可能性があります。
既存の特徴量から再現可能であれば、従属関係にあるということなので、「理論上」省いても良い特徴量となります。

1をやらなければ、その特徴量をドロップしなければならないケースが多いことを考えると、悪くない選択肢になります。

特にニューラルネットワークを使う場合データ増強のために特徴量フリップを平気でやることを考えると、平均値で埋めてもそれほど誤判定に影響はしないと思います。