Q&A
以下2点について教えて下さい。
- jupyter で大きなファイルをインポートするとパソコンが重くなる時の対処法
hoge.pyで処理した時の方が早い・軽い印象を受ける理由
個人的な対処法
- あらかじめ必要なカラムを指定してインポート
-> usecols=[0,1,,,n]
groupbyで集約したらすぐに元データを消す
-> del df
- 手動でメモリ解放
-> gc.collect()
hoge.pyでメモリに乗るサイズに削ってからインポート
情報
マシン
- 構成
| OS | CPU | メモリ |
|---|---|---|
| windows10 pro | Intel(R) Cor(TM) i3-4130 | 6GB |
systeminfo.exeの結果
| Total Physical Memory | Available Physical Memory | Virtual Memory (Max Size) | Virtual Memory (Available) | Virtual Memory (In Use) |
|---|---|---|---|---|
| 6,017 MB | 2,888 MB | 14,006 MB | 4,298 MB | 9,708 MB |
ファイル
- 構成
| サイズ | 行数 | 列数 |
|---|---|---|
| 642MB | 約850万 | 20 |
- カラム
| object | int64 | float | datetime64[ns] |
|---|---|---|---|
| 3 | 15 | 1 | 1 |
- pandas でそのままインポートした時のメモリ使用量
->memory usage: 1.2+ GB
参考サイト
あなたの回答
tips
プレビュー
