Q&A
> Pythonのmerge機能
この部分、これだと説明が足りません。Pandasあたりでしょうか?
RAMメモリ以上のビックデータを扱う方法（実行時にショートする）
データフレーム型の大容量csvファイル（20gb×2）をPythonのmerge機能を用いて結合させようとするとメモリ不足になりパソコンがショートします。
**pandas: merge
例）
#結合 左寄せ
df = pd.merge(x, y, on='ID, how='left')**
大容量のデータベースを使用する際、このようなメモリ以上をうまく扱う方法はあるのでしょうか。
・外付けSSDを一時的にRAMとして扱う方法があるか
・国レベルのビックデータの解析を行う時はどのような工夫をしているのか（62, 128gb以上のデータを扱うこともあると思います）
使用しているパソコンスペック
・RAM 32gb
・CPU intel 10750H
・GPU RTX 2000
プログラミングコードの話ではないですが、ご教授お願い致します。
はい、pandasの機能です
#結合 左寄せ
df = pd.merge(x, y, on='ID, how='left')
調べるとスワップ領域を増やす。
と出てきますが、これがキーワードでしょうか
この欄に書くのではなくて質問を編集してください。
仮想メモリを大量に用意すれば出来るのかもしれませんが、普通はデータベースというものを使うのでは…。
quickquipさん、編集しました
データベースというもの、とはどんなものでしょうか？
ライブラリですか？windowsの機能ですか？
jbpd0さん
ありがとうござます。
pandasのライブラリを使用する際に、daskを用いて並列処理をさせることでしょうか？
それとも、そもそもcsvをpandasではなく、dask dataframeで読み込むことでメモリ消費を目的としたデータ解析ができるということでしょうか。
クラウドでやってみては。例えばAmazon EC2の最大メモリは24TBです。
68userさん
ありがとうございます。
サーバー上で運用するんですね、、勉強になります。
大学院生であるため、あまりお金をかけない方法でできればと考えています
jbpd0さん
仮想メモリの拡張、
daskでのcsv読み込み、mergeで実行できました。
ありがとうございます。
daskの仕組みもなんとなく理解できました。
回答1件
0
ベストアンサー
RAMメモリ以上のビックデータを扱う方法
投稿2022/03/31 08:48
総合スコア7651
あなたの回答
tips
プレビュー
