回答編集履歴
6
一部修正
answer
CHANGED
|
@@ -6,6 +6,6 @@
|
|
|
6
6
|
[【ML Tech RPT. 】第4回 不均衡データ学習 (Learning from Imbalanced Data) を学ぶ(2)](https://buildersbox.corp-sansan.com/entry/2019/04/03/110000)
|
|
7
7
|
[【ML Tech RPT. 】第4回 不均衡データ学習 (Learning from Imbalanced Data) を学ぶ(3)](https://buildersbox.corp-sansan.com/entry/2019/05/03/110000)
|
|
8
8
|
|
|
9
|
-
(1)の記事には以下の文章があり、テストデータを用いたアンダーサンプリングの最適化手法にも言及していますので、質問者様に直接に参考になるのでは、と思います。
|
|
9
|
+
(1)の記事には以下の文章があり、テストデータを用いたアンダーサンプリングの最適化手法にも言及していますので、質問者様に直接に参考になるのでは（質問者様の手法とやや違うかもですが、論文化されている手法であれば研究に使いやすいかと・・・）、と思います。
|
|
10
10
|
|
|
11
11
|
> しかしながら、一般的な Undersampling では、学習に有用なデータをサンプリング時に捨てたり、全体のデータ数が不足したりするため、次の二つの問題を引き起こす原因になることに注意する必要があります。一つ目が、学習した分類器の分散が大きくなる問題です。これに対処するためには、UnderBagging [*1] のような平均化戦略を取るのが一般的です。UnderBaggingは、Undersampling を実施してk通りの部分集合を作成し 、各部分集合ごとに分類器を学習し Bagging でアンサンブルする手法です。二つ目が、学習後に得られる事後分布が歪む問題です。これに対処するためには、テスト用のデータの事前分布を用いて事後分布を修正する必要があります。[*2] では、EMアルゴリズムに基づいて事前分布を推定しつつ、事後分布を修正する手法が提案されています。
|
5
一部修正
answer
CHANGED
|
@@ -8,4 +8,4 @@
|
|
|
8
8
|
|
|
9
9
|
(1)の記事には以下の文章があり、テストデータを用いたアンダーサンプリングの最適化手法にも言及していますので、質問者様に直接に参考になるのでは、と思います。
|
|
10
10
|
|
|
11
|
-
> しかしながら、一般的な Undersampling では、学習に有用なデータをサンプリング時に捨てたり、全体のデータ数が不足したりするため、次の二つの問題を引き起こす原因になることに注意する必要があります。一つ目が、学習した分類器の分散が大きくなる問題です。これに対処するためには、UnderBagging [*1] のような平均化戦略を取るのが一般的です。UnderBaggingは、Undersampling を実施してk通りの部分集合を作成し 、各部分集合ごとに分類器を学習しBagging でアンサンブルする手法です。二つ目が、学習後に得られる事後分布が歪む問題です。これに対処するためには、テスト用のデータの事前分布を用いて事後分布を修正する必要があります。[*2] では、EMアルゴリズムに基づいて事前分布を推定しつつ、事後分布を修正する手法が提案されています。
|
|
11
|
+
> しかしながら、一般的な Undersampling では、学習に有用なデータをサンプリング時に捨てたり、全体のデータ数が不足したりするため、次の二つの問題を引き起こす原因になることに注意する必要があります。一つ目が、学習した分類器の分散が大きくなる問題です。これに対処するためには、UnderBagging [*1] のような平均化戦略を取るのが一般的です。UnderBaggingは、Undersampling を実施してk通りの部分集合を作成し 、各部分集合ごとに分類器を学習し Bagging でアンサンブルする手法です。二つ目が、学習後に得られる事後分布が歪む問題です。これに対処するためには、テスト用のデータの事前分布を用いて事後分布を修正する必要があります。[*2] では、EMアルゴリズムに基づいて事前分布を推定しつつ、事後分布を修正する手法が提案されています。
|
4
一部修正
answer
CHANGED
|
@@ -8,4 +8,4 @@
|
|
|
8
8
|
|
|
9
9
|
(1)の記事には以下の文章があり、テストデータを用いたアンダーサンプリングの最適化手法にも言及していますので、質問者様に直接に参考になるのでは、と思います。
|
|
10
10
|
|
|
11
|
-
> しかしながら、一般的な Undersampling では、学習に有用なデータをサンプリング時に捨てたり、全体のデータ数が不足したりするため、次の二つの問題を引き起こす原因になることに注意する必要があります。一つ目が、学習した分類器の分散が大きくなる問題です。これに対処するためには、UnderBagging [*1] のような平均化戦略を取るのが一般的です。UnderBaggingは、Undersampling を実施してk通りの部分集合を作成し 、各部分集合ごとに分類器を学習し
|
|
11
|
+
> しかしながら、一般的な Undersampling では、学習に有用なデータをサンプリング時に捨てたり、全体のデータ数が不足したりするため、次の二つの問題を引き起こす原因になることに注意する必要があります。一つ目が、学習した分類器の分散が大きくなる問題です。これに対処するためには、UnderBagging [*1] のような平均化戦略を取るのが一般的です。UnderBaggingは、Undersampling を実施してk通りの部分集合を作成し 、各部分集合ごとに分類器を学習しBagging でアンサンブルする手法です。二つ目が、学習後に得られる事後分布が歪む問題です。これに対処するためには、テスト用のデータの事前分布を用いて事後分布を修正する必要があります。[*2] では、EMアルゴリズムに基づいて事前分布を推定しつつ、事後分布を修正する手法が提案されています。
|
3
一部修正
answer
CHANGED
|
@@ -1,4 +1,4 @@
|
|
|
1
|
-
「クラスBの訓練データからのアンダーサンプリングにおいて、（**正解ラベルであるクラス情報を持たない**）テストデータ
|
|
1
|
+
「クラスBの訓練データからのアンダーサンプリングにおいて、（**正解ラベルであるクラス情報を持たない**）テストデータを用いてサンプリングを変える」ということについては、問題無いです。テストデータにおける正解ラベルを使っていないことがポイントですので。また、未知のテストデータを使っても精度が十分なのであれば、リークしている危険性も少ないものと思います。
|
|
2
2
|
|
|
3
3
|
不均衡データ学習については、以下の記事が、網羅性や信頼性があり、とても参考になります。アンダーサンプリング以外にもさまざまな手段がありますので、参考にしてください。
|
|
4
4
|
|
2
一部修正
answer
CHANGED
|
@@ -6,6 +6,6 @@
|
|
|
6
6
|
[【ML Tech RPT. 】第4回 不均衡データ学習 (Learning from Imbalanced Data) を学ぶ(2)](https://buildersbox.corp-sansan.com/entry/2019/04/03/110000)
|
|
7
7
|
[【ML Tech RPT. 】第4回 不均衡データ学習 (Learning from Imbalanced Data) を学ぶ(3)](https://buildersbox.corp-sansan.com/entry/2019/05/03/110000)
|
|
8
8
|
|
|
9
|
-
(1)の記事には以下の文章があり、テストデータを用いたアンダーサンプリング
|
|
9
|
+
(1)の記事には以下の文章があり、テストデータを用いたアンダーサンプリングの最適化手法にも言及していますので、質問者様に直接に参考になるのでは、と思います。
|
|
10
10
|
|
|
11
11
|
> しかしながら、一般的な Undersampling では、学習に有用なデータをサンプリング時に捨てたり、全体のデータ数が不足したりするため、次の二つの問題を引き起こす原因になることに注意する必要があります。一つ目が、学習した分類器の分散が大きくなる問題です。これに対処するためには、UnderBagging [*1] のような平均化戦略を取るのが一般的です。UnderBaggingは、Undersampling を実施してk通りの部分集合を作成し 、各部分集合ごとに分類器を学習し Bagging でアンサンブルする手法です。二つ目が、学習後に得られる事後分布が歪む問題です。これに対処するためには、テスト用のデータの事前分布を用いて事後分布を修正する必要があります。[*2] では、EMアルゴリズムに基づいて事前分布を推定しつつ、事後分布を修正する手法が提案されています。
|
1
一部修正
answer
CHANGED
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
「クラスBの訓練データからのアンダーサンプリングにおいて、（**正解ラベルであるクラス情報を持たない**）テストデータにおいて選定を変える」ということについては、問題無いです。テストデータにおける正解ラベルを使っていないことがポイントですので。また、未知のテストデータを使っても精度が十分なのであれば、リークしている危険性も少ないものと思います。
|
|
2
2
|
|
|
3
|
-
不均衡データ学習については、以下の記事が、網羅性や信頼性
|
|
3
|
+
不均衡データ学習については、以下の記事が、網羅性や信頼性があり、とても参考になります。アンダーサンプリング以外にもさまざまな手段がありますので、参考にしてください。
|
|
4
4
|
|
|
5
5
|
[【ML Tech RPT. 】第4回 不均衡データ学習 (Learning from Imbalanced Data) を学ぶ(1)](https://buildersbox.corp-sansan.com/entry/2019/03/05/110000)
|
|
6
6
|
[【ML Tech RPT. 】第4回 不均衡データ学習 (Learning from Imbalanced Data) を学ぶ(2)](https://buildersbox.corp-sansan.com/entry/2019/04/03/110000)
|