教師あり学習においての未知データの前処理

Question

前提・実現したいこと

ロジスティック回帰を用いて、未知データのクラス分け分類を行おうとしています。
その中で、教師データと未知データの前処理をどう行うかわからず悩んでおります。
教師データで前処理、未知データで前処理を行うべきなのか、二つまとめたデータに対し前処理を行うべきなのかご教授願いたいと思います。
初めての質問なので、至らぬところもあると思いますが、どうかよろしくお願いいたします。

前処理コード

def standardization(data, num_element):

data.fillna(10 ** -10, inplace=True)

data = data.replace(0, 10 ** -10)

data = data.mask(data < 0, 10**-10)
for n in range(num_element):
    data1, lmbda = stats.boxcox(data.iloc[:,n])
    data.iloc[:,n] = data1
print('===================================================')
print('Box-Cox is completed')
print('===================================================')
print(data)
data = data.apply(stats.zscore, axis=0)
print('===================================================')
print('Z-score is completed')
print('===================================================')
print(data)

return data

前処理①　教師データおよび未知データをまとめて前処理

all_data = pd.concat([train_data, analy_data])
all_data = standardization(all_data, num_dimention)

###前処理②　教師データおよび未知データを別々に前処理

train_data = standardization( train_data, num_element)
analy_data = standardization( analy_data, num_element)

Answer 1

標準化操作を行う場合は、教師データの平均・分散に基づいて両方を処理する必要があります。とりあえず、別々に処理するのは論外です。

pandasでやる場合は結合して処理後に分割することでできなくはありませんが、これはこれで問題含みです。根本的には、機械学習ライブラリの枠組みの中でやることをおすすめします。

たとえばscikit-learnのStandardScalerであれば教師データはfit_transformで処理し、未知データはtransformで処理するなどです。
（実際にはPipelineを構築した方がスマートです）

sklearn.preprocessing.StandardScaler — scikit-learn 0.21.3 documentation

Answer 2

まとめて前処理すると、また分割しなければいけないので、別々に処理すればよいのでは？
連続データなどで分割すると、欠損値の穴埋めがうまくいかないのであれば、後で分割することになるのかもしれませんが。