Q&A
OSは何でしょうか？
たくさんメモリーを使うのを実行した場合、Macはストレージ(ハードディスクやSSD)が空いてれば、それ使って何とか頑張って実行してくれますが、Windowsはストレージに余裕があっても、メモリーエラーを出すことがあります
前提・実現したいこと
matplotlibのscatterで126012601260の3次元配列を可視化したい。
3次元配列を等間隔にプロットし、値をヒートマップで表示したい。
発生している問題・エラーメッセージ
15GB(126012601260,double型)の配列をax.scatterで3次元プロットしようとしたところ、以下のエラーメッセージが出ました。
numpy.core._exceptions.MemoryError: Unable to allocate 29.8 GiB for an array with shape (2000376000, 2) and data type float64
該当のソースコード
Python
1f = open(filename,mode='rb') 2AR = np.fromfile(f,np.double,count=int(nx*ny*nz)).reshape(int(nx),int(ny),int(nz)) 3X,Y,Z = np.meshgrid(range(nx),range(ny),range(nz)) 4 5fig = plt.figure(figsize=(12,12)) 6ax = fig.add_subplot(111,projection='3d') 7im = ax.scatter(X,Y,Z,c=AR,cmap=custom_jet,vmin=imin,vmax=imax)
試したこと
データ点数を各辺4分の1(315315315)にすると、エラーは無くなりました。
ハード的には充分なメモリがあるため、ライブラリに原因があると考えています。
3次元配列をfloat16に変換してから、scatterに突っ込んでも同様のエラーが出ました。
補足情報（FW/ツールのバージョンなど）
原因と解決法が分かる方がいましたら、よろしくお願いします。
matplotlibでないといけない理由はないため、他の方法が分かる方でもお願いします。
ご質問ありがとうございます。
OSはlinuxです。
uname -aと
ulimit -aの結果を貼って頂けないでしょうか？
ご質問ありがとうございます。
uname -a
Linux ###### 4.12.14-95.80-default #1 SMP Thu Jul 15 18:19:59 UTC 2021 (db4c18a) x86_64 x86_64 x86_64 GNU/Linux
ulimit -a
core file size (blocks, -c) unlimited
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 256093
max locked memory (kbytes, -l) unlimited
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 100
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
う～ん、私にはちょっと分かりませんね。
気になった参考情報としては
https://stackoverflow.com/questions/57507832/unable-to-allocate-array-with-shape-and-data-type
https://www.kernel.org/doc/Documentation/vm/overcommit-accounting
が見つかりましたが、内容正確にはよく分かりません(他への影響とか)。すみません。
情報ありがとうございます。
解決しましたら報告します。
回答2件
0
同じエラーが発生し解決策が見つからない状況です。
もし、解決済みでしたら対策をご教授いただければ幸いです。
投稿2023/06/14 13:46
総合スコア2
0
自作のデータが15GBでも、それをscatterするときには、作業用メモリを使うはずです。
29.8 GiB for an array with shape (2000376000, 2) and data type float64
と書かれていますから、メモリ不足になるのでしょう。
メモリを増設するしかないように思います。
投稿2021/11/10 01:59
総合スコア24666
説明不足ですいません。
作業用メモリを使っていたとしても、十分なメモリがあるはずです。
具体的には200GB以上あります。
ストレージではなく、メモリです。
駄目押しでSSDにスワップを256GBくらい作ってはいかがでしょうか？
…arrayで30GBのデータを表示するのに200GB以上のメモリでも足りないんですね。
あとは「どうせグラフなんだし値が多少変わろうが見た目は変わらんでしょう。」と決め込んで float64-->float16とすればメモリ使用量はarrayだけでも1/4まで減らせます。（描画する時のメモリ使用量も1/4になるか、指数関数的に1/16や1/64になるかはわかりません）
あなたの回答
tips
プレビュー
