Q&A
bamboo-nobaさん
素晴らしい回答ありがとうございます。
異常検知の枠組みを考えもしておりませんでしたので、非常に参考になります。
下記、記事での内容に近しいでしょうか？
見当違いでしたら、申し訳ございません、、
ご教授いただけますと幸いです
https://qiita.com/Zepprix/items/f6a5de2e3f6689bd2c1f
前提・実現したいこと
不均衡データのケースだったため、オーバーサンプリング分類モデルを生成しました。
その生成分類モデルを別データに使用する際、使用データにもオーバーサンプリングは実施すべきなのでしょうか？実施、未実施だと大きくスコアが異なります。
実現したいことは、「サービスの解約者の予測、解約予備軍を抽出しアプローチをすること」になります。
詳しい方、ご教授いただけましたら幸いです。
よろしくお願いいたします。
この質問の投稿者はすでに退会しているため、質問者からの返信がない点にご留意ください。
回答2件
0
ベストアンサー
その生成分類モデルを別データに使用する際、使用データにもオーバーサンプリングは実施すべきなのでしょうか？
「別データ・使用データ」というのはつまり性能評価に使うテストデータのことを考えているのでしょうか？ だとすればクラス間のサンプル数不均衡で評価指標が変わるという問題に帰着します。
テストデータに擬似的に生成したデータが混ざると、その評価方法が妥当なのかどうかという余計な懸念を産んでしまいます。性能が現実より高く見積もられてしまうのでは、といった懸念ですね。
シンプルに説明が面倒くさくなるので、私ならやらないと思います。
評価指標を使う前には、以下のような手続きを踏みます。データ不均衡を気にする前に、まずはこれがちゃんとできているかを確認してください。
-
まず評価指標を適切に選ぶ
どれか目的にかなったものを選ばないといけません。適合率、再現率、F1のどれにフォーカスするのか。解約予備軍クラスかどうかの二値分類問題として評価指標を算出するのか。多クラスなのか（マクロ平均、マイクロ平均）。など、考えるべきことは多いでしょう。今回のような場合、無難なのは二値分類問題とみなしたときのF1でしょうか。 -
その評価指標を使う
同等のデータで、同等の方法で計算した評価指標同士は比較できます。逆に言うと、データを変えたり計算方法を変えたりした数字の優劣は気にしても意味がありません。要するに、モデル選択以外では評価指標はあまり役に立たないと割り切って、腹をくくることです。
で、どうやったにせよ、ほとんどの方法ではオーバーサンプリングするかどうかで結果は変わります。
投稿2020/02/03 18:12
総合スコア30945
0
「サービスの解約者の予測、解約予備軍を抽出しアプローチをすること」
この場合、個人的な意見ですが、オーバーサンプリングして分類問題で解決するよりも異常検知の枠組みで解析した方が良い気がします。異常検知の枠組みであれば正常データ(オーバーサンプリングしてないもの)から閾値を設定して検出できるので、不均衡データの対策を必要としないので良いのではないかと思います。
異常検知の方法としては、例えばですが簡単な定性分析方法として、(どんな特徴量があるのか分かりませんが)昨年と本年度の何らかのログ情報の比率を算出して、設定した閾値を超えたら(例えば、比率の平均+分散を上回るとか、何らかの値をうわま)異常として検出する等のような擬似的な方向点検出のアプローチで大まかな解析などができると思います。
どのような仕様を元にしてアプローチするかによってリリース実装などにおいて実現したいことが変わってくるので一概にこの方法が良いとは言えませんが、良かったら参考にしていただければと思います。
投稿2020/02/03 09:47
総合スコア1408
そうですね、ホテリングのT2法は統計的な分析手法で、異常検知としては古典的なものですね。
あとは、サンプル数が十分であれば正常データをMLPやSVRで学習して、異常データ込みでテストデータを検証して誤差をプロットして閾値を決め打ちするなどのやり方もあると思います(これもscikit-learnなどで簡単に実装できると思います。)
いろんな方法があるので、できるものから試してみるのが良いと思います。
この質問の投稿者はすでに退会しているため、質問者からの返信やベストアンサーの選定がない点にご留意ください。
あなたの回答
tips
プレビュー
退会済みユーザー
2020/02/04 00:27
2020/02/04 00:44
2020/02/04 00:48 編集
退会済みユーザー
2020/02/04 01:40