Q&A
> なぜなら100000という値と1という値が同1として表されているから。
これはどういう意味ですか?
追記: 同1 は 同一 という意味 もしくは typoですか?
jupyter使用時のメモリについて
最近、メモリを多く使う変数などをpythonで扱っているのでメモリが足りない
ことが多くて困っています。
そこでタスクマネジャーを見ながらメモリの使用状況を確認しつつ作業をしていたところ、
https://qiita.com/AnchorBlues/items/883790e43417640140aa
上記のサイトでdelを用いてメモリが大きいものを消してメモリを解放させよう的なことを言っているのですが、
そもそも、delで消してもメモリの数値は変わりませんでしたし、上記のサイトでメモリとされているものはメモリではないと思います。
なぜなら100000という値と1という値が同1として表されているから。
そこで、変数を消してメモリを増やす方法と今どのくらいメモリを消費しているかわかるようなライブラリはあるのでしょうか？
知っている方がいれば教えていただけると恐縮です。
「メモリが大きいものを消してメモリを解放させよう的なことを言っている」というのも訳が分かりませんが、参考にしている記事があるのですから、その参考にしている記事に書いてある通りの表現をするようにしてください。
（どうも、自分勝手な解釈でおかしな結論を出して「分からない」と言っている感じがします。）
↑同意見
メモリ食ってる変数を確認・削除したいってのをメモリの解放と解釈してしまっていました。すみません。。。
> なぜなら100000という値と1という値が同一として表されているから
もしかして、100000 という値と1という値を表すのに必要なメモリ量が異なると思っていたということですか？
a = 10000
aa= 1
import sys
print("{}{: >25}{}{: >10}{}".format('|','Variable Name','|','Memory','|'))
print(" ------------------------------------ ")
for var_name in dir():
if not var_name.startswith("_"):
print("{}{: >25}{}{: >10}{}".format('|',var_name,'|',sys.getsizeof(eval(var_name)),'|'))
| Variable Name| Memory|
------------------------------------
| a| 28|
| aa| 28|
って感じに同じ値が出てしまうのはおかしいアルゴリズムなのではないかな？ということです！
回答のほうに転記
回答1件
0
ベストアンサー
変数を消してメモリを増やす方法
リンク先の Qiita の記事のやり方 (del で消す) で実際に変数を削除できますよ。
以下、確認した方法です。
python
1import sys 2import numpy as np 3 4def print_memory_usage(): 5 for var_name in globals(): 6 if not var_name.startswith("_"): 7 print("{: >25}{: >10} bytes".format(var_name, sys.getsizeof(eval(var_name)))) 8 9# データだけなら、8 * 100 * 100 * 3 = 240000 bytes 10mat = np.zeros((100, 100, 3), dtype=float) 11print_memory_usage()
mat 240128 bytes autopep8 80 bytes exit 56 bytes json 80 bytes np 80 bytes Out 288 bytes In 128 bytes isort 80 bytes print_memory_usage 136 bytes sys 80 bytes get_ipython 64 bytes
python
1del mat 2print_memory_usage()
quit 56 bytes autopep8 80 bytes exit 56 bytes json 80 bytes np 80 bytes Out 288 bytes In 128 bytes isort 80 bytes print_memory_usage 136 bytes sys 80 bytes get_ipython 64 bytes
今どのくらいメモリを消費しているかわかるようなライブラリはあるのでしょうか？
ソフトウェア (Windows ならタスクマネージャー、Linux なら free コマンド) で確認したほうがいいと思いますが、Python のコードで確認したい場合は、メモリなどシステムに関する情報を確認できる psutil というライブラリがあります。
pip install psutil でインストールできます。
psutil documentation — psutil 5.6.2 documentation
python
1import psutil 2 3info = psutil.virtual_memory() 4print(info) 5# svmem(total=67497332736, available=54389481472, percent=19.4, used=10516938752, 6# free=17032527872, active=18114748416, inactive=24519929856, buffers=431259648, 7# cached=39516606464, shared=2041597952, slab=6908645376) 8 9print('available: {:.2f} GB'.format(info.available / 2**30)) # available: 50.65 GB
1つの Notebook でいろいろなコードを実行していると、使ってない変数でもカーネルをシャットダウンする前まではずっと残っているので、使い終わった Notebook はシャットダウンしましょう。
書いてる最中でも試行錯誤して未使用な変数がスタックしてきたら、手動で消すより、Notebook をリスタートしたほうがよいです。
追記
100000という値と1という値が同一として表されているのはおかしい
Python の int 型は格納する値の大きさによって適切に拡張されるようになっているので、1 と 100000 はたまたま同じメモリ量で表されていたのだと思います。
C++ の std::vector のように最初は一定量のメモリを確保しておいて、足りなくなったら拡張するようになっているみたいです。
import sys a = 10000 b = 10000000000000000 print(sys.getsizeof(a), sys.getsizeof(b)) # 28, 32
詳しい解説が以下にありました。
Understanding memory allocation for large integers in Python - Stack Overflow
投稿2019/04/24 05:56
編集2019/04/24 06:09総合スコア21960
sys.getsizeofも完璧ではないようです。
mat2 = mat.T
としてから
del mat
とすると実際にはmat2から元のTの内部配列が参照されているはずですがその分のメモリーサイズは表示してくれません。そのためmatを消して安心しても「実は表示されない領域がある」なんてことになりますね。
https://teratail.com/questions/116555
この質問のcan110さん回答が分かり易かったです。
補足していただきありがとうございます。
ある配列の view である numpy 配列を getsizeof して、実際のデータのサイズでなく、ビューオブジェクトのサイズが返るというのは、意図通りという認識ですが、確かにその点は注意が必要そうです。
import sys
import numpy as np
a = np.zeros((100, 100), dtype=float)
b = a.T
print(b.base is a) # b は a の View かどうか ==> True
print(sys.getsizeof(a), sys.getsizeof(b)) # 80112 112
自分はNotebookでよく使われるであろうライブラリーはmatplotlibやnumpyぐらいしか知らないので、Pythonインタープリタから直接見えない内部バッファー的なものを用いているものがnumpy以外にあるかわからないのですが、そういうものがもしあったら少々面倒ですね。tiitoiさん回答にあるようにカーネルをリスタートするのが簡単・確実な気がしました。
あなたの回答
tips
プレビュー
