pythonでリストはfor文で初期化した場合とリスト内包表記で初期化した場合に違いはありますか？

Question

現在、pythonで機械学習のモデルを作成しています。

モデルの訓練データとして複数の説明変数を用意したのですが、それらを変数ごとに正規化するために以下のようなコードを作成しました。

import pandas as pd
import numpy as np
from sklearn.preprocessing import MinMaxScaler

# 訓練データの読み込み
train_data = pd.read_excel('train_data.xlsx', sheet_name=0, header=None, skiprows=2, usecols=[1,2,3,4,6], engine="openpyxl")
train_data = train_data.dropna(how="all")

# 変数ごとのMinMaxScalerインスタンスを、for文を用いて生成
scaler_list = []
for _ in range(len(train_data.columns)):
    scaler_list.append(MinMaxScaler())

# 変数ごとにデータを正規化
x_train_list = []
for i in range(len(train_data.columns)):
    x = np.array(train_data.iloc[:, i])
    x_normalized = scaler_list[i].fit_transform(x.reshape(-1, 1))
    x_train_list.append(x_normalized.squeeze())
x_train_list = np.array(x_train_list)

train_dataは変数が列ごとに分かれているDataFrameです。

それぞれの変数に対応するMinMaxScaler型のインスタンスを、scaler_listに格納して正規化を行っています。

このようにリストに格納しているのは、学習を終えたモデルの入力データを同じパラメータで正規化するために再び使用するからです。

このプログラムでモデルの学習及び予測を実行することはできたのですが、次のコードのようにscaler_listの生成をfor文ではなくリスト内包表記に変更したところ、for文で生成した時よりも明らかに予測の精度が上がりました。

import pandas as pd
import numpy as np
from sklearn.preprocessing import MinMaxScaler

# 訓練データの読み込み
train_data = pd.read_excel('train_data.xlsx', sheet_name=0, header=None, skiprows=2, usecols=[1,2,3,4,6], engine="openpyxl")
train_data = train_data.dropna(how="all")

# 変数ごとのMinMaxScalerインスタンスを、リスト内包表記を用いて生成
scaler_list = [MinMaxScaler() for _ in range(len(train_data.columns))]

# 変数ごとにデータを正規化
x_train_list = []
for i in range(len(train_data.columns)):
    x = np.array(train_data.iloc[:, i])
    x_normalized = scaler_list[i].fit_transform(x.reshape(-1, 1))
    x_train_list.append(x_normalized.squeeze())
x_train_list = np.array(x_train_list)

上の二つのプログラムは全く同じことをしていると思っていたのですが、何度実行して比べても結果に明らかな差があります。

リストを生成する際、for文で初期化するのとリスト内包表記で初期化するのとでは何か違いがあるのでしょうか？

Comments

[8524ba23]

MinMaxScaler型のインスタンスの生成時のパラメータ指定部分が明らかに異なるように見えるのですが、同じでしょうか？

[blue0118]

申し訳ありません。誤植です。
モデルの作成時には同じパラメータで実行していました。

[jbpb0]

それぞれのコードで作成した「scaler_list」や「x_train_list」が、全く同じ内容かを比べてみたら、いかがでしょうか

Answer 1

リストの中身を比較してみた結果、全く同じものになっていることが確認できました。
実行結果に差があったのはたまたま偶然が重なっていたようでした。

Answer 2

リスト内包表記はfor文によるリスト生成の糖衣構文ですので、正しく行えば同じ結果になります。

同じであるかどうかを確認したければ、一つのコード内で両方の方法でscaler_list_forとscaler_list_comprehensionとでもいう名前で作ってみて比較してみてください。
それらを比較して違っているようであれば、ちゃんと対応するような内包表記を書いていないのでしょう。