jupyter notebookにおけるメモリの問題

Question

jupyter notebookにおけるメモリの問題

jupyter notebookを使ってpython3を動かしていたのですが、

import numpy as np
a = np.random.rand(1000*1000*100*100)

結果

---------------------------------------------------------------------------
MemoryError                               Traceback (most recent call last)
<ipython-input-68-45fd6582cf33> in <module>
      1 import numpy as np
----> 2 a = np.random.rand(1000*1000*100*100)

mtrand.pyx in mtrand.RandomState.rand()

mtrand.pyx in mtrand.RandomState.random_sample()

mtrand.pyx in mtrand.cont0_array()

MemoryError: 

となってメモリが足りないといわれます。
他の変数に確かにメモリがとられていることもあり、そちらの変数のキャッシュを消す方法はもちろん
あるのですが、そもそもjupyterのメモリを増やすことができればそれが一番良いと思うのですが、
メモリを増やす方法よりどの変数がメモリを食っているか、またその変数のキャッシュをどうやって消すかばかり書いてあり知りたい情報に出会えなかったので質問させていただきました。

bigdataの時代において、この程度でメモリが足りなくなるとは到底思えないので何かいい方法があると思うのですが、もし知っている方がいれば教えていただきたいです。
よろしくお願いいたします！！

Answer 1

そもそもjupyterのメモリを増やすことができればそれが一番良いと思うのですが、

Jupyter Notebook は、とくに設定等しなくても PC に搭載してあるメモリは全部使えます。

bigdataの時代において、この程度でメモリが足りなくなるとは到底思えないので

numpy.random.rand() は numpy.float64 型の配列を返す関数ですが、
numpy.float64 型は1つの値を表すのに8 bytes (64 bits) 必要です。
今回、要素の数が 10001000100*100 = 10000000000 なので、必要なメモリ量を計算すると

10000000000 * 8 bytes = 80000000000 / 2^30 GB = 74.51 GB 必要ということになります。
一般的な家庭用PCが搭載しているメモリ量は 8GB、16GB とかなので、このサイズの配列を扱うのはメモリが足りなくて無理でしょう。
一般的な PC で扱える配列のサイズは 1000*1000 ぐらいと思っておいたほうがよいです。
それ以上大きいと、メモリに載ったとしても、計算時間がかかりすぎてしまいます。

Answer 2

要素数だけで10^10, 1要素表すのに8byteでいけるとしても（これは楽観的な見積もりなのですが）、8*10^10 byteに相当し、およそ80GBです。なので、そのへんのPCではメモリから溢れます。

「この程度で」と書く前に計算してみることです。