Pythonの実行速度について

Question

Python3xの実行速度はHDDやSSDなどの読み出し速度に依存するのでしょうか？

現在RaspBerryPi2BでWebスクレイピングを行っていて、
MicroSDからPythonコードを読出しているのですが、パソコンの1/10くらいの速度で困っております。

回線は有線で上り下り両方とも95Mbit/sほどでていますので回線速度の問題は考えづらいです。

とはいえ、RaspBerryPi2Bの900Mhzクアッドコアがそこまで遅いとは考えづらいです。

そのため、MicroSDの読出速度を疑っている次第です。

回答よろしくお願いいたします。

Answer 1

何がボトルネックになっているかまずは自分で調べてみては?

Answer 2

Phythonプログラムの実行時間＝「HDDやSSDからPython実行プログラム(/usr/bin/pythonとか)をメモリにロードする時間」＋「PythonがスクリプトファイルをHDDやSSDからメモリに読み込む時間」＋「Pythonがメモリ上のスクリプトを実行する時間」

ですので、どの時間を計っているかによって、SSDの性能は関係します。
「Pythonがメモリ上のスクリプトを実行する時間」は、さらに、「CPUを使う時間」＋「ディスクIO待ちの時間」＋「ネットワーク通信待ちの時間」などに別れます。

CPU能力が関係するのは、ほぼ「CPUを使う時間」だけです。
メモリサイズはたいていの時間に関係します。

Answer 3

プログラムによります。

pythonのインタプリタ本体とライブラリ・本体のコード（をコンパイルしたバイトコード）などはプログラムの開始時にメモリに読み込まれますので、純粋な「実行速度」はストレージにはほとんど依存しないはずです。

ただし、スクレイピングした結果をファイルに保存するとか、DBに書くといったプログラムならストレージがボトルネックになる可能性もあるでしょう。

でもパソコンのSSDの10倍遅いマイクロSDは・・・まあ普通にあるでしょうが、そんなの使ってるんですか？　という話になります。

どちらかといえばメモリ不足などが疑わしい気がしますが、足りていますか？　メモリをどか食いするプログラムになっていたりしませんか？

Comments

[RateL1ch]

回答ありがとうございます。
結果を出力する処理は現時点では行ってはいないため、
可能性があるとすればメモリ不足です。
1GBのメモリを使い尽くすほど大きな処理はしていないとは思いますが、一度調べてみます。

[RateL1ch]

メモリの方調べてみました。
再起動したてのときの空きメモリが６５０MBで、
実行中が空きメモリ３００MBほどだったため、
メモリカツカツということはなさそうです。

[hayataka2049]

そしたら、プロファイリングしてみたらどうですか。やり方は調べれば出てくると思うので説明しません。