メモリエラーの回避方法

Question

質問内容

2つの2次元配列の演算においてメモリエラーが発生いたしました。
配列の要素数が多すぎてメモリ不足になることが原因だと思いますが、
PCのメモリを増やす以外で解決方法はありますでしょうか？

以下にサンプルコードを示します。
aの配列が1以上のときはbの配列の値にし、aの配列が0のときは0にするという処理です。
np.whereのところでメモリエラーが発生いたします。

大変お手数ですが、ご回答頂けると助かります。

試したこと

OpenCVに変更して試してみましたが、同じくメモリエラーとなりました。

サンプルコード

import numpy as np

np.random.seed(0)
a = np.round(np.random.rand(50000, 50000) * 10)
b = np.round(np.random.rand(50000, 50000) * 10)

b = np.where(a >= 1, b, 0)   # ここで「MemoryError」

サンプルコード（OpenCV）

import numpy as np
import cv2

np.random.seed(0)
a = np.round(np.random.rand(50000, 50000) * 10)
b = np.round(np.random.rand(50000, 50000) * 10)

ret, a = cv2.threshold(a, 1, 1, cv2.THRESH_BINARY)   # ここで「cv::OutOfMemoryError」
b = a * b

Answer 1

20000 * 20000 * 32 / 8 = 1.6GBの配列を複数同時に確保しようとしています。
np.uint8を使えば1/4に抑えられますが。。
メモリは何GBのPCを使っていますか？

基本的にはそれだけの大きさの配列は同時に確保せず、分割して計算したほうがいい気がします。
どういった用途でのコードでしょうか？

Comments

[dream-20xx]

ご回答ありがとうございます！
メモリは16Gです。あと、すみません、配列数を間違っていました。修正いたしました(20000→50000)。申し訳ございません。
用途は、衛星画像データの処理になりますが、詳細は話せませんが、サンプルコードのように、aの配列が1以上のときはbの配列の値にし、aの配列が0のときは0にするという処理が必要です。
そうですね、分割した方がよい気がしています。ループ処理になるかと思いますが、速度が極端に遅くなる懸念があり、今のところ試していません。

[fukatani]

メモリをそれだけ使うと、キャッシュミスが起きたり確保に時間がかかったりして、むしろループを書くより遅いかもしれないです。10とか100ずつ分割してみてはどうでしょう？
あとは画像を圧縮して小さくするという方向性もあるとは思います。
あるいは、ゼロの成分が非常に多いならスパース行列を使うのも手です。ただ、提示していただいたコードだと非ゼロ成分がかなり多そうなので無理そうです。

[dream-20xx]

ありがとうございます！スパース行列も念のため試してみます。

Answer 2

round で整数に丸めているので、int32 型にキャストしてはどうでしょうか。
そうすれば、a, b に必要なメモリ使用量は半分になります。

np.random.seed(0)
a = np.round(np.random.rand(20000, 20000) * 10).astype(np.int32)
b = np.round(np.random.rand(20000, 20000) * 10).astype(np.int32)

b = np.where(a >= 1, b, 0)

Comments

[dream-20xx]

早速のご回答ありがとうございます！
試してみましたが、私の環境ではまだメモリエラーとなります。。

[tiitoi]

np.int32 のところを np.int16 にすれば、さらに使用量を半分に減らせます。
メモリは何GBあるのでしょうか？
またPython の実行環境はどのようになっているのでしょうか？

[dream-20xx]

はい、np.int16もすでに試していましたがメモリエラーでした。np.int8は実データの範囲に収まらないので意味はないですが、一応やってみたところnp.int8もメモリエラーでした。
PCのメモリは16Gあります。
あと、すみません、サンプルコードの要素数を実ソースに比べてかなり少なく書いていました。修正(20000→50000)しました。申し訳ございません。

[tiitoi]

50000*50000 の2次元配列は密行列でしょうか？
もしそうだとすると、一般的なPCで扱うには規模が大きすぎるように思えます。
int16 でも1つの配列5G、int32なら10Gとなり、メモリ16Gではとても足りません。

扱う配列が疎行列 (配列のほとんどの値は0) などの性質はないのでしょうか？

[dream-20xx]

地球観測衛星画像データを扱っており、密行列か疎行列かは場合によります。海が多いときは疎行列になりますが、そうでない場合は密行列になります。密行列と考えてもらって差し支えありません。そうですよね、とても足りないですよね。。

[tiitoi]

メモリ増設が選択肢にないならば、以下のように、一度に計算するのではなく、部分的に計算していくしかないと思います。

50000x50000 の配列を縦横10分割して、100個の5000x5000の配列にして、HDD に一旦保存する。
分割した配列に対して、演算して結果をまたHDDに保存する。

[tiitoi]

8Gのメモリボードをあと2枚挿せば足りそうな気もしますが、増設しないのであれば、データすべてを一度に扱うことがメモリ不足の原因なので、HDDを利用して、配列全体がメモリ上に展開されないようにする以外解決方法はないように思います。

[dream-20xx]

ありがとうございます。今から所用があり、月曜日に実装してみます。処理速度が実用に耐えうるかどうかが懸念事項です。

Answer 3

遅くなり申し訳ございません。
以下のように分割して処理することで解決しました。
お二人とも正しい回答を頂いたので、お二人ともにプラス評価をいたしました。
本当ははじめの方にベストアンサーにしようと思ったのですが、ここに書いたらできないのですね。。
初心者で申し訳ございません。。

import numpy as np

np.random.seed(0)
a = np.round(np.random.rand(50000, 50000) * 10).astype(np.uint16)
b = np.round(np.random.rand(50000, 50000) * 10).astype(np.uint16)

tmp = []
num = 10   # 配列を10分割
a_split = np.split(a, num)
b_split = np.split(b, num)

for i in range(num):
    tmp.append(np.where(a_split[i] >= 1, b_split[i], 0))

b = np.array(tmp, dtype='uint16').reshape(50000, 50000)