「The least populated class in y has only 1 member, which is too few. 」」の対処方法

Question

勾配部―スティング決定木のチューニングというアンサンブル学習で回帰予測を
実施しました。

#Numpyの配列に変換
y = np.array(dataset[target_col])#ターゲット変数
X = np.array(dataset[feature_cols])#説明変数
#bin output variable to split training and testing sets into two similar sets
bins = np.arange(6)
binned_y = np.digitize(y, bins)
#トレーニングとテストでデータ分割
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2,stratify=binned_y)

このデータ分割後に次のエラーとなります。

ValueError Traceback (most recent call last)

  3 
  4 from sklearn.model_selection import train_test_split

----> 5 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2,stratify=binned_y)

2 frames

1657 class_counts = np.bincount(y_indices)
1658 if np.min(class_counts) < 2:
-> 1659 raise ValueError("The least populated class in y has only 1"
1660 " member, which is too few. The minimum"
1661 " number of groups for any class cannot"

ValueError: The least populated class in y has only 1 member, which is too few. The minimum number of groups for any class cannot be less than 2.

（上記のエラーの翻訳では、ValueError：yで最も人口の少ないクラスにはメンバーが1つしかなく、少なすぎます。クラスのグループの最小数は2未満にはできません。）

どのようにエラー回避したらよいでしょうか。
よろしくお願いいたします。

Comments

[meg_]

「このデータ分割後に次のエラーとなります。」というのは「train_test_split()」でエラーが発生しているのか、「train_test_split()」は正常に実行できて次のコードでエラーが発生している、のどちらですか？

[y_waiwai]

このままではコードが読めないので、質問を編集し、<code>ボタンを押し、出てくる’’’の枠の中にコードを貼り付けてください

[kouji_39]

データに関しては、ランダムフォレストでも使ったデータで、トレインとテストの分割、つまりtrain_test_split（）は、問題ないと思います。「stratify=binned_y」が問題があると感じています。
下記の２行が問題個所と感じています。
bins = np.arange(6)
binned_y = np.digitize(y, bins)

[meg_]

エラー発生箇所がよく分からないので、エラーメッセージ全体を質問に掲載出来ませんか？

[kouji_39]

ちなみに、このプログラムを使用するに、４つに分けたデータがあり、3つ分のデータはエラーが出ずに動作します。前述しましたが、ランダムフォレストでは４つのデータともエラーは出てないものです。データ構造（説明変数と目的変数の数や型式）も同じ４つなので、どういうことでしょう？

Answer 1

おそらく「stratify=binned_y」が原因でエラーが出ているかと思われます。
データの比率が極端に偏っているとこのエラーが出るようです。
stratifyの指定なしにするしかないのではないでしょうか？

Comments

[kouji_39]

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
としました。これで、エラーは無くなります。
　層化サンプリング（stratifyの指定）が、勾配ブ―スティング決定木のチューニングでどういう位置
づけなのかについては、今後の課題とします。
　同じアンサンブル学習のランダムフォレストでは上記の方法で、トレインとテストを分割したので、
勾配ブ―スティング決定木手法とランダムフォレストとの比較検討という意味では、層化サンプリング
を省いたコードで実施することにします。

[meg_]

データ中の比率の問題がと思うのですが、ランダムフォレストで使用したデータと全く同じものですか？　テストサイズも全く同じですか？

[kouji_39]

層化サンプリングは、「偏ったサンプル構成の母集団からサンプリングする際に役立つ手法。
母集団を、「層」という小集団に分け、層ごとの分散はなるべく小さく、層間の分散はなる
べく大きくなるように分けるもの。つまり、同じ属性を持ったサンプル同士でグループ化する手法」
https://qiita.com/takahashi_yukou/items/c1282e358ebfbd0dd43f
ランダムフォレストでは、train_test_splitを使用する時、random_stateを指定したので、今回も層化
サンプリングではなく、ランダムにデータ分割するようにしたいと考えています。