エラーを解決したい。行数をどうすればいいかわかりません

Question

前提・実現したいこと

kaggle home credit urlに挑戦しています.
。簡単に最低限必要な前処理だけしてサブミットしようとしていますがエラーが解決できません。
普段はnotebookでやっていますが最後の行のtrain_test_splitを実行した際にエラーが出ます。行数があっていないようなエラーですがどうすればいいでしょうか

発生している問題・エラーメッセージ

Found input variables with inconsistent numbers of samples: [307509, 307511]

該当のソースコード

train=pd.read_csv('../input/application_train.csv')
test=pd.read_csv('../input/application_test.csv')

from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
le_count = 0

# Iterate through the columns
for col in train:
    if train[col].dtype == 'object':
        # If 2 or fewer unique categories
        if len(list(train[col].unique())) <= 2:
            # Train on the training data
            le.fit(train[col])
            # Transform both training and testing data
            train[col] = le.transform(train[col])
            test[col] = le.transform(test[col])
           
train.fillna(method="ffill")
test.fillna(method="ffill")

train = pd.get_dummies(train)
test = pd.get_dummies(test)

train_X=train.drop(train['TARGET'])
y=train['TARGET']

train_X=train_X.drop(['TARGET'],axis=1)

import lightgbm as lgb

from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

train_x,valid_x,train_y,valid_y=train_test_split(train_X,y,test_size=0.33,random_state=0)

Answer 1

結論

今回のご質問にお答えするのに必要最低限の変更を施したコードは以下の通りです。

train=pd.read_csv('../input/application_train.csv')
test=pd.read_csv('../input/application_test.csv')

from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
le_count = 0

# Iterate through the columns
for col in train:
    if train[col].dtype == 'object':
        # If 2 or fewer unique categories
        if len(list(train[col].unique())) <= 2:
            # Train on the training data
            le.fit(train[col])
            # Transform both training and testing data
            train[col] = le.transform(train[col])
            test[col] = le.transform(test[col])

train.fillna(method="ffill")
test.fillna(method="ffill")

train = pd.get_dummies(train)
test = pd.get_dummies(test)

y=train['TARGET']

train_X=train.drop(['TARGET'],axis=1)

import lightgbm as lgb

from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

train_x,valid_x,train_y,valid_y=train_test_split(train_X,y,test_size=0.33,random_state=0)

なお、変更点は以下の通りです。

train=pd.read_csv('../input/application_train.csv')
test=pd.read_csv('../input/application_test.csv')

from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
le_count = 0

# Iterate through the columns
for col in train:
    if train[col].dtype == 'object':
        # If 2 or fewer unique categories
        if len(list(train[col].unique())) <= 2:
            # Train on the training data
            le.fit(train[col])
            # Transform both training and testing data
            train[col] = le.transform(train[col])
            test[col] = le.transform(test[col])

train.fillna(method="ffill")
test.fillna(method="ffill")

train = pd.get_dummies(train)
test = pd.get_dummies(test)

- train_X=train.drop(train['TARGET'])
y=train['TARGET']

- train_X=train_X.drop(['TARGET'],axis=1)
+ train_X=train.drop(['TARGET'],axis=1)

import lightgbm as lgb

from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

train_x,valid_x,train_y,valid_y=train_test_split(train_X,y,test_size=0.33,random_state=0)

解説

train_X=train.drop(train['TARGET'])
y=train['TARGET']

train_X=train_X.drop(['TARGET'],axis=1)

の部分の処理で実現したいことは、

• DataFrame train から予測に使う特徴量だけを抽出して train_X を作りたい。具体的には、 train から TARGET というカラムを除外した DataFrame を作りたい。
• DataFrame train から予測の目的変数だけを抽出して y を作りたい。具体的には、 train から TARGET というカラムだけを取り出したい。

ということだと思います。

まず、以下の部分については、上記のように DataFrame を作るためには不要な処理です。

train_X=train.drop(train['TARGET'])

さらに、以下の部分については、 train からデータを作ればよいので、加工元の DataFrame は train_X ではなく train を使うべきでしょう。

- train_X=train_X.drop(['TARGET'],axis=1)
+ train_X=train.drop(['TARGET'],axis=1)

以上を踏まえますと、回答の最初に書いた通りの変更になり、手元では実行することができました。

補足

今回のバグとは関係ありませんので蛇足かもしれませんが、以下の部分については改善の余地があります。

train.fillna(method="ffill")
test.fillna(method="ffill")

pandas の関数 fillna は、デフォルトでは inplace=False となっており、呼び出しただけでは呼び出し元の DataFrame には変更が加えられません。
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.fillna.html

なので、欠損値を method='ffill' で埋めたい場合は、

train = train.fillna(method="ffill")
test = test.fillna(method="ffill")

とするか、

train.fillna(method="ffill", inplace=True)
test.fillna(method="ffill", inplace=True)

とするのが良いと思われます。