質問編集履歴
1
誤字
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -1,15 +1,16 @@
|
|
|
1
1
|
### 前提・実現したいこと
|
|
2
2
|
データの前処理での次元拡大によるMemoryError対処法について
|
|
3
3
|
入力における特徴量を減らす以外での解決策を探しています。
|
|
4
|
+
大変未熟者ですがご教授願います。
|
|
4
5
|
|
|
5
6
|
### 発生している問題・エラーメッセージ
|
|
6
7
|
numpy.core._exceptions.MemoryError: Unable to allocate array with shape (31934, 356727) and data type object
|
|
7
8
|
|
|
8
|
-
### 該当のソース
|
|
9
|
+
### 該当のソース
|
|
9
10
|
|
|
10
11
|
Python 3.7.3
|
|
12
|
+
|
|
11
|
-
|
|
13
|
+
Pandasでデータを読み込んだ後、
|
|
12
|
-
```
|
|
13
14
|
dataset.shape->(445909, 79)
|
|
14
15
|
とし、このデータ内のカテゴリカル変数のみをOneHotEncordingでDummy変数化を行いました。
|
|
15
16
|
その後、元データと連結し
|
|
@@ -24,4 +25,6 @@
|
|
|
24
25
|
dataset_test = mm.fit_transform(dataset_test)
|
|
25
26
|
|
|
26
27
|
当たり前ですが、次元数が多すぎることから、実装でMemoryErrorを起こします。
|
|
27
|
-
入力における特徴量を減らす以外での解決策を探しています。
|
|
28
|
+
入力における特徴量を減らす以外での解決策を探しています。
|
|
29
|
+
###補足
|
|
30
|
+
データセット内の欠損値はないです。
|