pythonのnumpyでメモリーエラー

Question

実現したいこと

pythonのnumpyを用いて
data = np.zeros((2,2,5,10,24,24,400000)
の7次元配列を作りたかったのですが、
メモリーが不足してしまいました。
何か良い方法はありますでしょうか？

Comments

[meg_]

> data = np.zeros((2,2,5,10,24,24,400000)
質問のコードはSyntaxErrorになります。

> メモリーが不足してしまいました。
今の環境のままではどうしようもないかと思いますが。一度にその大きな配列を作成しなければならない理由があるのでしょうか？

[tiitoi]

たぶん、やろうとしてる方針が間違ってる
この要素数のコードを動かそうとするのではなく、まずコードの設計を見直しましょう

[zer024]

意見ありがとうございます。
コード設計を見直してみます。
また、質問すると思いますので、その際はよろしくお願いします。

Answer 1

1. dtype を変える

numpy はデフォルトで float64 のarray を作ろうとするのでそんなに精度が必要か考えてみてください。最悪 bool で良かったりしませんか？
2. 分割して処理する
一気に処理するのはメモリが足りないので適宜分割処理することも検討に入れましょう
3. メモリを積む
力で解決しましょう。もっとも 300 GB 以上積むとなるとサーバーマシンのようなものになりそうですが
4. AWS や GCP を利用する
これ以外と見落としがちなんですが、クラウドサービスでメモリめっちゃ積んであるインスタンス借りてお金で解決してしまうという方法があります。一見高そうですが使う時間とインスタンスを考えて決めれば大丈夫だと思います

Comments

[meg_]

確かにAWSにメモリ豊富なインスタンスありますね。時間もコストですから良い選択肢だと思います。

Answer 2

デフォルトだと各要素をfloatで生成するので、intに指定することでかなり減らせるようです。343GiB→42.9GiB　ワークステーションなら動くかも...
それでもダメなら、7次元の配列を生成する以外の手段で目的を達成することを考えてはいかがでしょうか。

import numpy as np
data = np.zeros((2,2,5,10,24,24,400000))
# MemoryError: Unable to allocate 343. GiB for an array with shape (2, 2, 5, 10, 24, 24, 400000) and data type float64

import numpy as np
data = np.zeros((2,2,5,10,24,24,400000), np.int8)
# MemoryError: Unable to allocate 42.9 GiB for an array with shape (2, 2, 5, 10, 24, 24, 400000) and data type int8