質問編集履歴
1
pandas: mergeの追加
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -2,6 +2,13 @@
|
|
|
2
2
|
|
|
3
3
|
データフレーム型の大容量csvファイル（20gb×2）をPythonのmerge機能を用いて結合させようとするとメモリ不足になりパソコンがショートします。
|
|
4
4
|
|
|
5
|
+
**pandas: merge
|
|
6
|
+
|
|
7
|
+
例）
|
|
8
|
+
#結合 左寄せ
|
|
9
|
+
df = pd.merge(x, y, on='ID, how='left')**
|
|
10
|
+
|
|
11
|
+
|
|
5
12
|
大容量のデータベースを使用する際、このようなメモリ以上をうまく扱う方法はあるのでしょうか。
|
|
6
13
|
・外付けSSDを一時的にRAMとして扱う方法があるか
|
|
7
14
|
・国レベルのビックデータの解析を行う時はどのような工夫をしているのか（62, 128gb以上のデータを扱うこともあると思います）
|