質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.46%
Jupyter

Jupyter (旧IPython notebook)は、Notebook形式でドキュメント作成し、プログラムの記述・実行、その実行結果を記録するツールです。メモの作成や保存、共有、確認などもブラウザ上で行うことができます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

0回答

998閲覧

vscodeのjupyter notebookでpickleファイルを読み込んだ時にメモリの使用率が大幅に増える

moriz0

総合スコア1

Jupyter

Jupyter (旧IPython notebook)は、Notebook形式でドキュメント作成し、プログラムの記述・実行、その実行結果を記録するツールです。メモの作成や保存、共有、確認などもブラウザ上で行うことができます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2020/11/30 04:52

前提・実現したいこと

ここに質問の内容を詳しく書いてください。
VScode上でJupyter Notebookを使用している際のメモリの使用率について疑問に思ったことがあります.

発生している問題

もともとの使用可能メモリが11.260GBであった時に,250MBのpickleファイルを2つ読み込むと,使用可能メモリが7.8749GBまで減少する理由がわかりません.
その後,500MBのファイルを2つ読み込んだ際には使用可能なメモリは,7.38117GBまでしか減少しません.
どのような原因で,使用可能メモリの容量が推移していくのか,ご存知の型がいらっしゃったら教えていただきたいです.
よろしくお願いいたします.

該当のソースコード

python

1import pandas as pd 2import psutil 3 4# 当初の使用可能メモリ(単位はGB) 5info = psutil.virtual_memory() 6print(info.available / 2 ** 30) # 実行結果:11.260406494140625 7 8# data1, data2のファイルサイズは,254.4MB 9data1 = pd.read_pickle('data1.pickle') 10data2 = pd.read_pickle('data2.pickle') 11info = psutil.virtual_memory() 12print(info.available / 2 ** 30) # 実行結果:7.874977111816406 13# ↑ ここでこんなに減るのはなぜ? 14 15# data3, data4のファイルサイズは,539.6MB 16data3 = pd.read_pickle('data3.pickle') 17data4 = pd.read_pickle('data4.pickle') 18info = psutil.virtual_memory() 19print(info.available / 2 ** 30) # 実行結果:7.381175994873047 20# ↑ 逆にここでこれしか減らないのはなぜ? 21

補足情報(FW/ツールのバージョンなど)

ここにより詳細な情報を記載してください。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.46%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問