pythonで多次元行列を実装するには（多次元正規分布の分散行列）

Question

タイトル通りです

仮に50000×50000のような多次元のゼロ行列を作ろうとすると

numpy.zeros((50000,50000))

のようになると思うのですが
もちろんメモリオーバーになります

このような大規模行列を実装する方法はあるのでしょうか

やりたいこととしては
多次元正規分布があるとして，仮に変数が50000個あるとすると
50000×50000の分散の行列になると思うのですが
これを機械学習で推定していきたいというものです

これを解消するにはどうすればよいでしょうか

Answer 1

グラフを隣接行列ではなく、隣接リストで表すと、メモリが削減できるように
疎行列の0要素を持たないようにするといいと思います。
密行列の場合は、分かりません。

Answer 2

まったく無駄なく1変数8byteで表現できたとしても2.5*10^9 byteですか・・・

まあ、乗らないというほどでもないのでは。16GB以上のメモリを積んだマシンなら、たぶんメモリに乗り切ると思います。効率的に計算できるかはまったく別ですが。

いずれにせよ50000*50000を直接扱うのは無茶なので、低ランク近似ですね。さすがにメジャーな話題なので、大規模向きの手法はたくさん提案されているはずですし、ライブラリも探せばあるでしょう。

Answer 3

零の要素が多い行列 (疎行列) の表現は、scypi.sparse など疎行列を扱うパッケージを使えます。
機械学習ライブラリ scikit-learn でも疎行列形式を利用できます。

scypi.sparse
Python: scipy.sparseで疎行列計算する

このような大規模行列を実装する方法はあるのでしょうか
やりたいこととしては多次元正規分布があるとして，仮に変数が50000個あるとすると50000×50000の分散の行列になると思うのですがこれを機械学習で推定していきたいというものです

50000×50000 の行列が密行列でメモリの乗り切らないのなら無理です。
問題設定を見直してください。

---

np.float32

• 別名: 単精度
• 必要なバイト数: 4バイト5万5万
• 表現できる桁数: 約8桁

np.float64 (Python の float)

• 別名: 倍精度
• 必要なバイト数: 8バイト5万5万
• 表現できる桁数: 約15桁

単精度の精度で十分であれば、float32 でもよいです。
実際、Deep Learning や 3DCG では大量のデータを扱う、倍精度ほどの精度が必要ないという理由で、単精度が一般的に使われています。

Comments

[kohekoh]

単位行列なので大丈夫です
しかし，最初の5万×5万が乗らないのですが
そのときはどうしたらいいんですかね

[kohekoh]

ちなみにfloatの型を下げたらのったのですが
下げたらいけないなんてことはないですよね
扱う値を表現できるくらまで下げても大丈夫ですよね？

[tiitoi]

追記しました。どのくらいの精度が必要かによります。

[kohekoh]

なるほどです
ありがとうございます

[tiitoi]

すいません。回答に誤記がありました。単精度の場合約8桁、倍精度の場合約15桁の精度があります。丸め誤差によりこれより精度が落ちる場合はあります。