機械学習での特徴量エンジニアリングについて

Question

機械学習、初心者です。
現在、決定木でデータ分析をしてみたのですが、仮にカテゴリ変数の１つに「魚の取れた場所」として沖縄、北海道があるとします。

これをカテゴリ変数に入れて分析した場合と、沖縄のデータのみ、北海道のデータのみで分析した場合では、正解率に差が出る事が分かりました。

決定木内部では、北海道か沖縄か、で分岐してデータ分析をしてくれていると思っていたので、少し意外だったのですが、これはどうしてなのでしょうか？
また、この差異を吸収する方法はありますか？

初心者丸出しの質問で申し訳ありません。

また、このようにデータの選び方や、コツなどあればキーワードだけでも教えていただきたいです。

Comments

[taiyakix]

「魚の取れた場所」に沖縄、北海道以外は含まれていないのですか?

[takuma_01219]

ご対応ありがとうございます。
含まれていますが、それによって変わってきますか…？

[taiyakix]

決定木と関係があるかとふと思っただけです。それ以上の意味はありません。

Answer 1

目的変数（予測して求めたい値）は魚の取れ高ということでよいでしょうか。

決定木の枝の決め方も複数ありますが基本的には目的変数を説明しているちからが強い順に分けていきます。
「魚の取れた場所」以外にも天気や気温その他いろいろな説明変数（目的変数を説明するもの）があるかと思いますが
もし天気の方が「魚の取れた場所」より影響が強いと決定木が判断すればそちらが優先されます。

ですので、必ずしも絶対に「魚の取れた場所」で最初に分岐されると決まっているわけではありません（決定木側は北海道と沖縄とか知らないので、天気の方が影響あるやと判断されればそれまでです）。

全データ、沖縄のみ、北海道のみで「分析した」とありますので、都度決定木を作成したのかと思いますが、
当然ながら、全データ、沖縄のみ、北海道のみではデータが異なりますので違う決定木が作成され異なる結果となります。

「この差異を吸収する方法はありますか？」とのことで、どういったご趣旨かが分かりかねます。

正解率が高い方が良いのであれば、全データ、「魚の取れた場所」で分ける、それぞれで実施し精度の良い方を洗濯
「魚の取れた場所」で分けて理解したいのであれば「魚の取れた場所」ごとに分析し決定木をそれぞれ作成する

になるかと思います。

「魚の取れた場所」の効果を前提として、その他天気や気温の効果も用いたいとのことであれば決定木ではなく
一般化線形混合モデルや階層ベイズモデルなどがありますが、難易度が高くなります。

まずは解決したい課題は何か（予測値なのか説明変数を見極めたいのか、「魚の取れた場所」毎に分析したいのかなど）をはっきりさせ、決定木にこだわる必要がないならば重回帰分析などの方がこの場合はよいかも、などデータ分析についてもう少し繰り返し習熟されるとよろしいかと思います。

Comments

[takuma_01219]

少し勘違いがあったようです。勉強します。
丁寧な回答、ありがとうございました。