ValueError: Found input variables with inconsistent numbers of samplesの解決方法

Question

データを層samplingを使って、train、val、testで３分割するコード
を作っています。
train_test_splitのところで、ValueError: Found input variables with inconsistent numbers of samplesのエラーがでます。解決方法が知りたいです。

#Numpyの配列に変換
y = np.array(dataset[target_col])#ターゲット変数
X = np.array(dataset[feature_cols])#説明変数

#目的変数の可視化
pd.Series(y).hist(bins=25)

#目的変数の離散化、可視化
bins=[0, 10, 20, 30]
print(bins)
binned_y=np.digitize(y,bins)
pd.Series(binned_y).hist(bins=25)

# 特徴量と正解を訓練データとテストデータと検証データに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, stratify=binned_y, random_state=0)
X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.5, stratify=binned_y, random_state=0) # 0.67 x 0.5 = 0.335

print('X_trainの形状：',X_train.shape,' y_trainの形状：',y_train.shape,' X_valの形状：',X_val.shape,' y_valの形状：',y_val.shape,' X_testの形状：',X_test.shape,' y_testの形状：',y_test.shape)

errorメッセージは以下===============================================
ValueError Traceback (most recent call last)
<ipython-input-18-d9ef67107817> in <module>()
1 # 特徴量と正解を訓練データとテストデータと検証データに分割
2 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, stratify=binned_y, random_state=0)
----> 3 X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.5, stratify=binned_y, random_state=0) # 0.67 x 0.5 = 0.335
4
5 print('X_trainの形状：',X_train.shape,' y_trainの形状：',y_train.shape,' X_valの形状：',X_val.shape,' y_valの形状：',y_val.shape,' X_testの形状：',X_test.shape,' y_testの形状：',y_test.shape)

3 frames
/usr/local/lib/python3.6/dist-packages/sklearn/utils/validation.py in check_consistent_length(*arrays)
210 if len(uniques) > 1:
211 raise ValueError("Found input variables with inconsistent numbers of"
--> 212 " samples: %r" % [int(l) for l in lengths])
213
214

ValueError: Found input variables with inconsistent numbers of samples: [77, 116]

Comments

[meg_]

「train_test_split」は「sklearn.model_selection.train_test_split」のことですか？

[kouji_39]

from sklearn.model_selection import train_test_split
で呼び出したものです。

[meg_]

y、X、X_train、y_trainのshapeは各処理後でどうなっていますか？

[kouji_39]

train_test_splitでエラーになり、shapeは確認できてません。
層化サンプリングで3等分したいので、試しに、思い付きで以下を実施しました。
X_train, X_val, X_test, y_train, y_val,y_test = train_test_split(X, y, train_size=39,test_size=38, stratify=binned_y, random_state=0)
そしたら、ValueError: not enough values to unpack (expected 6, got 4)
train,val,testが一回で３等分(39,39,38で全部で116)できる方法はないのでしょうか？

[meg_]

1回目のtrain_test_split()は実行できているように見えますが？
y、Xのshapeはどうなっていますか？

[kouji_39]

X_trainの形状： (77, 10) y_trainの形状： (77,) X_testの形状： (39, 10) y_testの形状： (39,)

[meg_]

magichanさんの回答にあるように、binned_yを再作成（binned_y=np.digitize(y_train,bins)）してtrain_test_split()の引数に設定してはどうでしょうか？

[kouji_39]

X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.5, stratify=binned_y, random_state=0)の行の前に、binned_y=np.digitize(y_train,bins)を入れることで、分割できました。
ありがとうございます。

[kouji_39]

今後ともよろしくお願いいたします。

Answer 1

エラーの原因は

X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.5, stratify=binned_y, random_state=0) # 0.67 x 0.5 = 0.335

の行で、入力値のX_trainおよびy_train のデータサイズは（最初のtrain_test_plit()で分割されて）77になってますが、binned_y は分割されていないためデータサイズが元の 116 のままであるため、不整合が起きている事が原因かと思います。

y_train と整合がとれているBinningデータをstratifyパラメータに渡すように修正するとエラーは解決すると思います。

Comments

[kouji_39]

X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.5, stratify=binned_y, random_state=0)の行の前に、binned_y=np.digitize(y_train,bins)を入れることで、分割できました。
ありがとうございます。