データ前処理の次元拡大によるMemoryError対処

Question

前提・実現したいこと

データの前処理での次元拡大によるMemoryError対処法について
入力における特徴量を減らす以外での解決策を探しています。
大変未熟者ですがご教授願います。

発生している問題・エラーメッセージ

numpy.core._exceptions.MemoryError: Unable to allocate array with shape (31934, 356727) and data type object

該当のソース

Python 3.7.3

Pandasでデータを読み込んだ後、
dataset.shape->(445909, 79)
とし、このデータ内のカテゴリカル変数のみをOneHotEncordingでDummy変数化を行いました。
その後、元データと連結し
After_dummy_dataset.shape->(445909, 31935)

dataをtrain,testに分割
dataset_train, dataset_test, attack_train, attack_test = train_test_split(dataset, attack, train_size = 0.6, test_size = 0.4, shuffle = True)
test,trainそれぞれに対し、正規化
from sklearn import preprocessing
mm = preprocessing.MinMaxScaler()
dataset_train = mm.fit_transform(dataset_train)
dataset_test = mm.fit_transform(dataset_test)

当たり前ですが、次元数が多すぎることから、実装でMemoryErrorを起こします。
入力における特徴量を減らす以外での解決策を探しています。
###補足
データセット内の欠損値はないです。

Answer 1

疎行列型配列（scipy.sparse.csr_matrix）で取り扱えばメモリに載せること自体は可能です。

どのようにダミー変数に変換したのかはわかりませんが、sklearn.preprocessing.OneHotEncoderを使えはデフォルトで疎行列型配列に変換されます。

sklearn.preprocessing.OneHotEncoder — scikit-learn 0.21.3 documentation

注意点としては、

• 連結のときにnumpy配列に変換しようとして失敗しているのかもしれません。このあたりもどうやっているのかはわかりませんが、sklearn.compose.ColumnTransformerなどを活用してください（設定次第で結果を疎行列型配列にできます）。
• MinMaxScalerは必ずnumpy配列を返すので、この目的には使えません。実数型変数だけに適用するならありですが。最終的に疎行列型配列に変換されるように（あと途中でダミー変数の部分がnumpy配列にならないように）transformerを組む必要があります。

---

そもそも論としては、そんなにでかいダミー変数の配列にしたところでまともな分析はできないと思うので、やり方を変えた方が良いと思います。