Numpyの内部処理

Question

Numpyの内部処理のことが気になり質問させていただきました。

基本的なことかも知れませんが
Nampyが速い理由として
･ネイティブコードである
･静的型付き言語である
･BLAS APIを実装している

という認識でよろしかったでしょうか。

なぜ、一行を行列･ベクトルとして扱うことで速くなるのでしょうか。
BLAS APIを実装しているから、という答えになるかもしれませんが、PC内で何が起きているのかが気になります。
（PC内のメモリの使い方、並列処理等）

少しマニアックな質問になってしまいますがよろしくお願い致します。

Answer 1

pythonよりも、コンパイルされたバイナリであるnumpyの方が速いのは、もう回答にあるので省くとして。

BLASが速い理由について。

BLASにはレベルが3つあります。
ベクトル積のBLAS1、ベクトル行列積のBLAS2、行列積のBLAS3からなります。

BLAS3が最も速いです。
これを理解するためにはCPUの周波数とメモリの周波数の違いを意識して、計算したいことが演算律速かIO律速かを考える必要があります。

一般にBLAS3のアルゴリズムはキャッシュ効率を高めることによって高速な計算を可能にしています。

https://www.cc.u-tokyo.ac.jp/events/lectures/71/shiryou-20170228-5.pdf

Comments

[YouheiSakurai]

提示のPDF、神文書ですね。素人にあれほどわかりやすくまとめてあるのには絶句でした。

[p_pp]

ありがとうございます！
もう少し勉強します…

Answer 2

色々な側面があります。

• LL特有のオーバーヘッドから解放される

pythonみたいなLLは、いちいち型チェックするし、メソッドを叩くたびに（素のpythonは四則演算すらメソッドで実装していますが）hashで実装された名前空間から探してくるし、数値はimmutableなオブジェクトなので計算するたびにGCが走るし・・・とにかく遅くなる理由がたくさんあります。numpyを使うと、すべてが解決する訳ではありませんが、だいぶ緩和されます。

• （コンパイル言語で）高速に実装された関数で処理される

言わずもがな。

• SIMDが効く

CPUのSIMD命令を使えるので速くなります。
python - Are numpy's basic operations vectorized, i.e. do they use SIMD operations? - Stack Overflow

Answer 3

気になるならソースコードをよめばいいじゃない。
https://github.com/numpy/numpy

あと、重要な要素として、Python自体はとても遅いというのがあると思います。
For文が遅いことは有名ですしね。

Comments

[p_pp]

ソースコード読み込んで勉強します！
ありがとうございます。

Answer 4

詳しくは無知なので全く語れませんが、速い理由は人類の高速計算に関する英知がnumpyには詰まっているからだと、大げさですが私は理解しています。numpyの内部ではFortranで書かれた計算部分もあるとどこかで読んだ気がしますし、これまでの計算機科学の様々な積み重ねがnumpyを速くしているんだと思います。

Comments

[YouheiSakurai]

あとコンパイラの最適化の恩恵もnumpyなら受けられるんでしょうね。

[mkgrei]

最近のnumpyはmklを使っていますしね。

[p_pp]

分かりやすい解説ありがとうございます．
もう少し勉強してみます